scrapy爬虫环境搭建

原创 2017年07月17日 18:24:41
  • 概述
  • 文件下载
  • 系统环境搭建和配置
  • 参考

概述
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
scrapy-splash:第三方中间件来提供JS渲染服务,解决由js动态生成的HTML页面问题。
文件下载
centos7下载(最新的docker服务依赖centos7),下载地址:http://www.centoscn.com/plus/download.php?open=2&id=8276&uhash=9c877d81a77da99fdd8e68d2
Python2.7下载,下载地址:https://www.python.org/ftp/python/2.7.13/python-2.7.13.amd64.msi
miniconda下载,下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda2-latest-Windows-x86_64.exe
系统环境搭建和配置
docker安装
安装docker依赖:yum install -y yum-utils device-mapper-persistent-data lvm2
配置docker源:yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo
安装docker,yum install docker-ce
启动docker服务,systemctl start docker
修改docker镜像,使用ustc的镜像,国外镜像网速无法用,参考:https://lug.ustc.edu.cn/wiki/mirrors/help/docker
Python2.7安装
miniconda安装(step by step即可,配置Python环境变量)
安装pycharm,下载地址:https://download.jetbrains.8686c.com/python/pycharm-professional-2017.1.4.exe ,使用license server方式认证,服务器地址使用:http://idea.imsxm.com/
scrapy安装(使用miniconda安装,否则使用pip安装会遇到很多问题):conda install -c scrapinghub scrapy
scrapy-splash安装,pip install scrapy-splash
centos7安装splash,docker pull scrapinghub/splash,启动splash服务,docker run -p 8050:8050 scrapinghub/splash
使用scrapy创建工程,cd D:/pythonDemo,scrapy startproject scrapydemo
使用pycharm打开scrapydemo工程
安装Python mysql驱动,adbapi方式:conda install mysql-python,mysql 驱动方式:conda install mysql-connector-python,如果无法安装,则需要更换源,打开windows用户目录,打开隐藏文件.condarc,添加如下内容:
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
保存后,使用命令查看源信息,conda config –show,如果源已经切换为tsinghua则配置成功
配置settings.py,添加如下配置:
SPLASH_URL = ‘http://192.168.137.130:8050/
SPIDER_MIDDLEWARES = {
‘scrapy_splash.SplashDeduplicateArgsMiddleware’: 100,
}
DOWNLOADER_MIDDLEWARES = {
# Engine side
‘scrapy_splash.SplashCookiesMiddleware’: 723,
‘scrapy_splash.SplashMiddleware’: 725,
‘scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware’: 810,
# Downloader side
}
HTTPCACHE_STORAGE = ‘scrapy_splash.SplashAwareFSCacheStorage’
scrapy开发环境配置完成。
参考:
http://ae.yyuap.com/pages/viewpage.action?pageId=919763
https://lug.ustc.edu.cn/wiki/mirrors/help/docker
http://blog.csdn.net/u010440155/article/details/62422757
https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-using-the-repository
http://www.cnblogs.com/zhonghuasong/p/5976003.html
http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/install.html
https://github.com/scrapy-plugins/scrapy-splash

相关文章推荐

利用Anaconda简单安装scrapy框架

引言:使用pip install 来安装scrapy需要安装大量的依赖库,这里我使用了Anaconda来安装scrapy,安装时只需要一条语句:conda install scrapy即可 步骤1:...

Windows Python3 Scrapy网络爬虫环境搭建

豆果爬虫Windows环境搭建安装需要的程序包 Python3.4.3 > https://pan.baidu.com/s/1pK8KDcv pip9.0.1 > https://pan.baidu...

在oracle中实现搜索分页查询

 在oracle中实现搜索分页查询 (转载 http://bbs.hidotnet.com/12148/ShowPost.aspx)在构建自定义搜索引擎时,开发人员常遇到的一个问题是实现某种类型的分页...

scrapy 环境搭建与试运行

背景:最近在做php服务器的项目,但是内容对于一个产品起到的是最为重要的东西,那么对于内容的获取就变的非常重要,所有想通过爬虫的方式来获取内容,所以想到了使用scrapy来当作爬虫工具,但是苦逼的是,...

scrapy 爬虫 环境搭建入门(一)

Scrapy介绍 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 所谓网络爬虫,就是一个在网上到处或定向抓取数...

Python开发爬虫之从虚拟机安装到Scrapy环境搭建

对Scrapy框架的使用已有一段时间,现将个人经验作一个记录和分享。 由于在windows上安装Scrapy各种不成功,因此还是推荐在Linux上安装。一、虚拟机的安装下载 VMWare Works...

基于scrapy和redis的分布式爬虫环境搭建

基于Scrapy,redis的分布式爬虫环境搭建及验证

scrapy爬虫开发之开发环境搭建

前言  大数据时代,数据为王,对于大数据处理来说,爬虫是必不可少的一环。聚焦到爬虫开发,又有多个开源框架可供选择,如:Nutch、Crawler4j、WebMagic、Scrapy、WebCollec...
  • kiikgu
  • kiikgu
  • 2016年04月17日 15:25
  • 101

【实战\聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎项目笔记】第2章 windows下搭建开发环境

第2章 windows下搭建开发环境 2-1 pycharm的安装和简单使用 (10:27)  2-2 mysql和navicat的安装和使用 (16:20) 2-3 windows和linux下安...

在服务器上搭建scrapy分布式爬虫环境的过程

记录一下在服务器上做scrapy分布式踩过的坑 这段时间在用 scrapy 爬取大众点评美食店铺的信息,由于准备爬取该网站上全国各个城市的信息,单机跑效率肯定是跟不上的,所以只能借助于分布式。scr...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:scrapy爬虫环境搭建
举报原因:
原因补充:

(最多只允许输入30个字)