想学习爬虫,又想了解python语言,有个python高手推荐我看看scrapy。
scrapy是一个python爬虫框架,据说很灵活,网上介绍该框架的信息很多,此处不再赘述。专心记录我自己遇到的问题以及解决方案吧。
给几个链接吧,我是根据这几个东西来尝试学习的:
scrapy中文文档(0.24版,我学习的时候scrapy已经1.1了,也许有些过时):
大神的博客介绍:
原汁原味的内容:
scrapy官网(甭指望在这上面下载,反正我没在这上面下载scrapy):
不建议在官方网站上下载!!!
为什么不建议在官网上下载(我也确实没找到官网上下载当前版本scrapy的whl地址,可能可以下载之前版本),因为scrapy需要依赖很多东西。根据大神的博客,如果你手动下载,至少要安装这几个依赖包:
python——基本语言平台
Twisted——事件驱动的网络引擎
w3lib、libxml2——某个库文件
pyOpenSSL——SSL协议,用于远程控制之类,我猜可能和分布式爬虫有关吧
然后才是安装scrapy。很麻烦啊。所以推荐直接用pip安装(scrapy官方也是推荐pip安装)。本机pip完成安装后,只需要在命令行输入:
pip install scrapy
一条命令就OK了。简单方便。但是pip安装本身还会遇到很多问题,另开文章阐述。
至此scrapy安装完成。反正身为python和scrapy双重小白的我,在搭建环境的时候就遇到了许多麻烦。本着学习和记录的态度,我会把遇到的困难、解决方案一一记录下来。文章以后也会慢慢更改。如果真的有人看这篇博文,请轻点喷,谢谢~╮(╯▽╰)╭