最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘
OS:ubuntu 14.04 python:2.7.6 scrapy:1.0.5 DB:MongoDB 3
ps.ubuntu14.04内置python2.7,因此python及pip安装不再赘述。
一.安装scrapy
pip install Scrapy
由于scrapy相关依赖较多,因此在安装过程中可能遇到如下问题:
1.ImportError: No module named w3lib
解决:pip install w3lib
2.ImportError: No module named twisted
解决:pip install twisted
3.ImportError: No module named lxml.html
解决:pip install lxml
4.error: libxml/xmlversion.h: No such file or directory
解决:apt-get install libxml2-dev libxslt-dev
apt-get install python-lxml
5.ImportError: No module named cssselect
解决:pip install cssselect
6.ImportError: No module named OpenSSL
解决:pip install pyOpenSSL