python scrapy 入门_Python爬虫Scrapy框架入门（0）

想学习爬虫，又想了解python语言，有个python高手推荐我看看scrapy。

scrapy是一个python爬虫框架，据说很灵活，网上介绍该框架的信息很多，此处不再赘述。专心记录我自己遇到的问题以及解决方案吧。

给几个链接吧，我是根据这几个东西来尝试学习的：

scrapy中文文档(0.24版，我学习的时候scrapy已经1.1了，也许有些过时)：

大神的博客介绍：

原汁原味的内容：

scrapy官网(甭指望在这上面下载，反正我没在这上面下载scrapy)：

不建议在官方网站上下载！！！

为什么不建议在官网上下载(我也确实没找到官网上下载当前版本scrapy的whl地址，可能可以下载之前版本)，因为scrapy需要依赖很多东西。根据大神的博客，如果你手动下载，至少要安装这几个依赖包：

python——基本语言平台

Twisted——事件驱动的网络引擎

w3lib、libxml2——某个库文件

pyOpenSSL——SSL协议，用于远程控制之类，我猜可能和分布式爬虫有关吧

然后才是安装scrapy。很麻烦啊。所以推荐直接用pip安装(scrapy官方也是推荐pip安装)。本机pip完成安装后，只需要在命令行输入：

pip install scrapy

一条命令就OK了。简单方便。但是pip安装本身还会遇到很多问题，另开文章阐述。

至此scrapy安装完成。反正身为python和scrapy双重小白的我，在搭建环境的时候就遇到了许多麻烦。本着学习和记录的态度，我会把遇到的困难、解决方案一一记录下来。文章以后也会慢慢更改。如果真的有人看这篇博文，请轻点喷，谢谢~╮(╯▽╰)╭