以下谈论的 scrapy 基于 0.20.2 版本(当前最新版本是 0.22.0 ),python 2.7.6。
开发环境是windows 7 sp1。
互联网上比较有价值的参考资料
对官网文档的翻译,主要讲了 scrapy 的基本使用。创建一个工程,使用 item 和 spider 。我们会简单涉及到官方教程的内容。
这篇文章并未涉及到代码细节,介绍了一些使用 scrapy 的经验,用的是较老的0.9版本。我们会对该文章涉及到的内容简单展开。
一 安装 scrapy
因为不同的版本 scrapy 依赖库变换很大,网上的安装教程版本太老,所以我的建议是直接安装 scrapy ,运行 scrapy 时 python 打印的错误可以看出是缺少了哪个库,缺了哪个安装哪个。
安装 scrapy 后 会多出 python/Scripts 目录,记得添加到环境变量,这样才能直接在命令行使用“scrapy”命令。
二 创建项目
在命令行运行 “scrapy startproject 项目名”可以直接在当前目录创建 scrapy 工程。
工程目录会有如下文件:
scrapy.cfg
配置文件,开发中基本用不到。
ajian\item.py
这里主要处理递归爬取和返回页面数据。
ajian\pipelines.py
返回的数据会传到这里,进行下一步处理。存储到数据库或者进行分析,随你喜欢。
ajian\settings.py
设置文件,有很多有趣的设置,比如是深度还是广度爬,对每个IP的爬虫数,每个域名的爬虫数,总爬虫数&