Ubuntu14.0 64bit 下Scrapy爬虫框架的搭建
Python 2.7: Scrapy是Python框架,当然要先安装Python ,不过由于Scrapy暂时只支持
Python2.7,因此首先确保你安装的是Python 2.7 .v检查Python的版本,$ python –version安装以来lxml和OpenSSL,可以通过进入python交互环境输入import lxml和import
OpenSSL,如果没有出现错误则代表依赖成功安装,如果缺少可以通过
sudo apt-get install python-lxml
和sudo apt-get install python-OpenSSL来安装这两个依赖。安装python-dev和libevent python-dev是linux上开发python比较重要的工具,以下的情况你需要安装
你需要自己安装一个源外的python类库, 而这个类库内含需要编译的调用python api的c/c++文件 你自己写的一个程序编译需要链接libpythonXX.(a|so) libevent是一个时间出发的高性能的网络库,很多框架的底层都使用了libevent 上面两个库是需要安装的,不然后面后报错。使用下面的指令安装
sudo apt-get install python-dev
sudo apt-get install libevent-dev安装pip 因为Scrapy可以使用pip方便的安装,因此我们需要先安装pip,可以使用下面的指令安装pip sudo apt-get install python-pip
使用pip安装Scrapy 使用下面的指令安装Scrapy。 sudo pip install scrapy 记住一定要获得root权限,否则会出现下面的错误。 至此scrapy安装完成,使用下面的命令检查Scrapy是否安装成功。 $ scrapy version