linux下安装scrapy

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ronan_ka/article/details/11880221
scrapy的网站:http://scrapy.org/
简单的来说,scrapy是python开发的一个快速,高层次的屏幕抓取和web抓取框架。

按照官方文档,只是需要easy_install Scrapy即可,但是安装的时候遇到了lxml的编译错误,只好自己解决错误。
我的安装过程:
1. 首先确定机器上有easy_install。
2. 安装lxml:(1)安装libxml2; (2)安装libxslt;如果报错,可能需要configure加上额外信息(--with-libxml-prefix=/home/img/sbin/libxml2-2.9.1/)(3)然后再安装lxml(python setup.py build --with-xslt-config=/home/img/soft/python/lxml-master/libxslt-1.1.27/) (4)执行 python setup.py install.
3. 执行easy_install Scrapy,安装。
4. 执行scrapy startproject tutorial,报错如下:
ImportError: /home/img/sbin/python2.7/lib/python2.7/site-packages/lxml-3.2.3-py2.7-linux-x86_64.egg/lxml/etree.so: undefined symbol: exsltStrXpathCtxtRegister
这个错误是因为so没有找到的原因,因为我把libxml2,libxslt都安装在了自己的文件夹下,所以需要修改一下环境变量LD_LIBRARY_PATH的值,把包含两个库so的目录加入,再次执行scrapy startproject tutorial,可以成功建立工程了。

使用easy_install是很方便,依赖的配置都可以自动下载,但是对于没有外网的环境来说,单独下载还是很麻烦的,而它的windows版本基本把依赖的库都包含了,直接安装即可。要是提供代码的时候的顺便把依赖包也提供一份就好了,就像ogre3D提供的dependencies那样,我要做项目,会提供出建议的依赖包,方便小白用户使用。
阅读更多
换一批

没有更多推荐了,返回首页