Scrapy爬虫框架的基本使用 创建spider工程和spider爬虫 scrapy基本命令

Srcapy介绍

Scrapy是一个健壮的爬虫框架，可以从网站中提取需要的数据。是一个快速、简单、并且可扩展的方法。

Scrapy使用了异步网络框架来处理网络通讯，可以获得较快的下载速度，因此，我们不需要去自己实现异步框架。并且，Scrapy包含了各种中间件接口，可以灵活的完成各种需求。所以我们只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页上的各种内容。

Scrapy爬虫的优点很多:

• 内建的css选择器和xpath表达式。

• 基于IPython交互shell，方便编写爬虫和debug。

• 健壮的编码支持。

• 扩展性强，可使用signals和api(中间件，插件，管道)添加自定义功能。

• 多用于session，cookies，http认证，user-agent，robots.txt，抓取深度限制的中间件和插件。

• scrapy內建teinet console，可用于debug。

Scrapy的安装

scrapy的安装可能回出现问题。

如果安装不成功，先安装 wheel，然后下载twisted：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，

进入你下载的目录执行：
pip install Twisted-17.1.0-cp35-cp35m-win_amd64.whl，
注意安装的是你选择的whl&