scrapy爬虫环境搭建

• 概述
• 文件下载
• 系统环境搭建和配置
• 参考

概述
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
scrapy-splash：第三方中间件来提供JS渲染服务，解决由js动态生成的HTML页面问题。
文件下载
centos7下载（最新的docker服务依赖centos7），下载地址：http://www.centoscn.com/plus/download.php?open=2&id=8276&uhash=9c877d81a77da99fdd8e68d2
Python2.7下载，下载地址：https://www.python.org/ftp/python/2.7.13/python-2.7.13.amd64.msi
miniconda下载，下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda2-latest-Windows-x86_64.exe
系统环境搭建和配置
docker安装
安装docker依赖：yum install -y yum-utils device-mapper-persistent-data lvm2
配置docker源：yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo
安装docker，yum install docker-ce
启动docker服务，systemctl start docker
修改docker镜像，使用ustc的镜像，国外镜像网速无法用，参考：https://lug.ustc.edu.cn/wiki/mirrors/help/docker
Python2.7安装
miniconda安装（step by step即可，配置Python环境变量）
安装pycharm，下载地址：https://download.jetbrains.8686c.com/python/pycharm-professional-2017.1.4.exe ，使用license server方式认证，服务器地址使用：http://idea.imsxm.com/
scrapy安装（使用miniconda安装，否则使用pip安装会遇到很多问题）：conda install -c scrapinghub scrapy
scrapy-splash安装，pip install scrapy-splash
centos7安装splash，docker pull scrapinghub/splash，启动splash服务，docker run -p 8050:8050 scrapinghub/splash
使用scrapy创建工程，cd D:/pythonDemo,scrapy startproject scrapydemo
使用pycharm打开scrapydemo工程
安装Python mysql驱动，adbapi方式：conda install mysql-python，mysql 驱动方式：conda install mysql-connector-python，如果无法安装，则需要更换源，打开windows用户目录，打开隐藏文件.condarc，添加如下内容：
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
保存后，使用命令查看源信息，conda config –show，如果源已经切换为tsinghua则配置成功
配置settings.py，添加如下配置：
SPLASH_URL = ‘http://192.168.137.130:8050/’
SPIDER_MIDDLEWARES = {
‘scrapy_splash.SplashDeduplicateArgsMiddleware’: 100,
}
DOWNLOADER_MIDDLEWARES = {
# Engine side
‘scrapy_splash.SplashCookiesMiddleware’: 723,
‘scrapy_splash.SplashMiddleware’: 725,
‘scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware’: 810,
# Downloader side
}
HTTPCACHE_STORAGE = ‘scrapy_splash.SplashAwareFSCacheStorage’
scrapy开发环境配置完成。
参考：
http://ae.yyuap.com/pages/viewpage.action?pageId=919763
https://lug.ustc.edu.cn/wiki/mirrors/help/docker
http://blog.csdn.net/u010440155/article/details/62422757
https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-using-the-repository
http://www.cnblogs.com/zhonghuasong/p/5976003.html
http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/install.html
https://github.com/scrapy-plugins/scrapy-splash