python配置venv参见之前的步骤,大致需要的环境包括scrapy,selenium,
如果用到数据库,mongodb相关:需要pymongo,以及在系统中也需要安装mongodb,GUI推荐Robomongo
或者sqllite相关:需要sqllite3,以及安装一个查看器比如Navicat for SQLite
用selenium时,可以用selenium驱动firefox,chrome等,也可以用phatomjs
注意用webdriver.chrome()时需要下载chromedriver.exe,放到对应的python解释器的script目录下,phatomjs也要放到这个目录下使用scrapy框架参考Scrapy入门教程
以我按照别人的demo操作为例,首先是不包含selenium的
- 创建venv(需要virtualenv, virtualenvwrapper)
mkvirtualenv [-i package] [-r requirements_file] [virtualenv options] ENVNAME
(默认会在C://users/username/Env/中创建一个虚拟环境,之后的相关东西需要copy到里面的script中,也可以直接在pycharm中创建)
后面可以直接用workon venv1
进入虚拟环境
2. 创建一个新的Scrapy项目
scrapy startproject TestSpider
3 进入pycharm中打开项目地址,配置好解释器,配置到run的setting,run->Edit Configurations
4.item.py中
import scrapy
class TestspiderItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
url = scrapy.Field()
forum = scrapy.Field()
poster = scrapy.Field()
content = scrapy.Field()
spider文件夹中新建一个XXX.py,这里面包含爬虫的主函数
import scrapy
from scrapy.linkextractors import LinkExtractor
from TestSpider.items import TestspiderItem
class BbsSpider(scrapy.Spider):
name = "bbsSpider"
allowed_domains = ["bbs.sjtu.edu.cn"]
start_urls = (
'https://bbs.sjtu.ed