scrapy的name变量_浅谈Scrapy爬虫（一）

以下谈论的 scrapy 基于 0.20.2 版本(当前最新版本是 0.22.0 )，python 2.7.6。

开发环境是windows 7 sp1。

互联网上比较有价值的参考资料

对官网文档的翻译，主要讲了 scrapy 的基本使用。创建一个工程，使用 item 和 spider 。我们会简单涉及到官方教程的内容。

这篇文章并未涉及到代码细节，介绍了一些使用 scrapy 的经验，用的是较老的0.9版本。我们会对该文章涉及到的内容简单展开。

一 安装 scrapy

因为不同的版本 scrapy 依赖库变换很大，网上的安装教程版本太老，所以我的建议是直接安装 scrapy ，运行 scrapy 时 python 打印的错误可以看出是缺少了哪个库，缺了哪个安装哪个。

安装 scrapy 后 会多出 python/Scripts 目录，记得添加到环境变量，这样才能直接在命令行使用“scrapy”命令。

二 创建项目

在命令行运行 “scrapy startproject 项目名”可以直接在当前目录创建 scrapy 工程。

工程目录会有如下文件：

scrapy.cfg

配置文件，开发中基本用不到。

ajian\item.py

这里主要处理递归爬取和返回页面数据。

ajian\pipelines.py

返回的数据会传到这里，进行下一步处理。存储到数据库或者进行分析，随你喜欢。

ajian\settings.py

设置文件，有很多有趣的设置，比如是深度还是广度爬，对每个IP的爬虫数，每个域名的爬虫数，总爬虫数&