关闭

scrapy爬虫环境搭建

标签: 爬虫scrapy-爬虫
116人阅读 评论(0) 收藏 举报
分类:
  • 概述
  • 文件下载
  • 系统环境搭建和配置
  • 参考

概述
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
scrapy-splash:第三方中间件来提供JS渲染服务,解决由js动态生成的HTML页面问题。
文件下载
centos7下载(最新的docker服务依赖centos7),下载地址:http://www.centoscn.com/plus/download.php?open=2&id=8276&uhash=9c877d81a77da99fdd8e68d2
Python2.7下载,下载地址:https://www.python.org/ftp/python/2.7.13/python-2.7.13.amd64.msi
miniconda下载,下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda2-latest-Windows-x86_64.exe
系统环境搭建和配置
docker安装
安装docker依赖:yum install -y yum-utils device-mapper-persistent-data lvm2
配置docker源:yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo
安装docker,yum install docker-ce
启动docker服务,systemctl start docker
修改docker镜像,使用ustc的镜像,国外镜像网速无法用,参考:https://lug.ustc.edu.cn/wiki/mirrors/help/docker
Python2.7安装
miniconda安装(step by step即可,配置Python环境变量)
安装pycharm,下载地址:https://download.jetbrains.8686c.com/python/pycharm-professional-2017.1.4.exe ,使用license server方式认证,服务器地址使用:http://idea.imsxm.com/
scrapy安装(使用miniconda安装,否则使用pip安装会遇到很多问题):conda install -c scrapinghub scrapy
scrapy-splash安装,pip install scrapy-splash
centos7安装splash,docker pull scrapinghub/splash,启动splash服务,docker run -p 8050:8050 scrapinghub/splash
使用scrapy创建工程,cd D:/pythonDemo,scrapy startproject scrapydemo
使用pycharm打开scrapydemo工程
安装Python mysql驱动,adbapi方式:conda install mysql-python,mysql 驱动方式:conda install mysql-connector-python,如果无法安装,则需要更换源,打开windows用户目录,打开隐藏文件.condarc,添加如下内容:
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
保存后,使用命令查看源信息,conda config –show,如果源已经切换为tsinghua则配置成功
配置settings.py,添加如下配置:
SPLASH_URL = ‘http://192.168.137.130:8050/
SPIDER_MIDDLEWARES = {
‘scrapy_splash.SplashDeduplicateArgsMiddleware’: 100,
}
DOWNLOADER_MIDDLEWARES = {
# Engine side
‘scrapy_splash.SplashCookiesMiddleware’: 723,
‘scrapy_splash.SplashMiddleware’: 725,
‘scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware’: 810,
# Downloader side
}
HTTPCACHE_STORAGE = ‘scrapy_splash.SplashAwareFSCacheStorage’
scrapy开发环境配置完成。
参考:
http://ae.yyuap.com/pages/viewpage.action?pageId=919763
https://lug.ustc.edu.cn/wiki/mirrors/help/docker
http://blog.csdn.net/u010440155/article/details/62422757
https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-using-the-repository
http://www.cnblogs.com/zhonghuasong/p/5976003.html
http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/install.html
https://github.com/scrapy-plugins/scrapy-splash

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:76904次
    • 积分:1269
    • 等级:
    • 排名:千里之外
    • 原创:49篇
    • 转载:13篇
    • 译文:0篇
    • 评论:19条
    最新评论