python+scrapy+selenium爬虫

1. python配置venv参见之前的步骤，大致需要的环境包括scrapy，selenium，
   如果用到数据库，mongodb相关：需要pymongo，以及在系统中也需要安装mongodb，GUI推荐Robomongo
   或者sqllite相关：需要sqllite3，以及安装一个查看器比如Navicat for SQLite
   用selenium时，可以用selenium驱动firefox，chrome等，也可以用phatomjs
   注意用webdriver.chrome()时需要下载chromedriver.exe，放到对应的python解释器的script目录下，phatomjs也要放到这个目录下

2. 使用scrapy框架参考Scrapy入门教程

以我按照别人的demo操作为例，首先是不包含selenium的

1. 创建venv（需要virtualenv, virtualenvwrapper）

mkvirtualenv [-i package] [-r requirements_file] [virtualenv options] ENVNAME

(默认会在C://users/username/Env/中创建一个虚拟环境，之后的相关东西需要copy到里面的script中，也可以直接在pycharm中创建)
后面可以直接用workon venv1进入虚拟环境
2. 创建一个新的Scrapy项目

scrapy startproject TestSpider

3 进入pycharm中打开项目地址，配置好解释器，配置到run的setting，run->Edit Configurations

4.item.py中

import scrapy


class TestspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    url = scrapy.Field()
    forum = scrapy.Field()
    poster = scrapy.Field()
    content = scrapy.Field()

spider文件夹中新建一个XXX.py，这里面包含爬虫的主函数

import scrapy
from scrapy.linkextractors import LinkExtractor
from TestSpider.items import TestspiderItem


class BbsSpider(scrapy.Spider):
    name = "bbsSpider"
    allowed_domains = ["bbs.sjtu.edu.cn"]
    start_urls = (
        'https://bbs.sjtu.ed