最近在学习爬虫,早就听说Python
写爬虫极爽(貌似pythoner说python都爽,不过也确实,python的类库非常丰富,不用重复造轮子),还有一个强大的框架Scrapy
,于是决定尝试一下。
要想使用Scrapy
第一件事,当然是安装Scrapy
,尝试了Windows
和Ubuntu
的安装,本文先讲一下 Ubuntu
的安装,比Windows
的安装简单太多了。。。抽时间也会详细介绍一下怎么在Windows
下进行安装。
官方介绍,在安装Scrapy
前需要安装一系列的依赖.
* Python 2.7
: Scrapy
是Python
框架,当然要先安装Python
,不过由于Scrapy
暂时只支持 Python2.7
,因此首先确保你安装的是Python 2.7
* lxml
:大多数Linux
发行版自带了lxml
* OpenSSL
:除了windows
之外的系统都已经提供
* Python Package
: pip and se