linux下安装scrapy

原创 2013年09月21日 20:19:43
scrapy的网站:http://scrapy.org/
简单的来说,scrapy是python开发的一个快速,高层次的屏幕抓取和web抓取框架。

按照官方文档,只是需要easy_install Scrapy即可,但是安装的时候遇到了lxml的编译错误,只好自己解决错误。
我的安装过程:
1. 首先确定机器上有easy_install。
2. 安装lxml:(1)安装libxml2; (2)安装libxslt;如果报错,可能需要configure加上额外信息(--with-libxml-prefix=/home/img/sbin/libxml2-2.9.1/)(3)然后再安装lxml(python setup.py build --with-xslt-config=/home/img/soft/python/lxml-master/libxslt-1.1.27/) (4)执行 python setup.py install.
3. 执行easy_install Scrapy,安装。
4. 执行scrapy startproject tutorial,报错如下:
ImportError: /home/img/sbin/python2.7/lib/python2.7/site-packages/lxml-3.2.3-py2.7-linux-x86_64.egg/lxml/etree.so: undefined symbol: exsltStrXpathCtxtRegister
这个错误是因为so没有找到的原因,因为我把libxml2,libxslt都安装在了自己的文件夹下,所以需要修改一下环境变量LD_LIBRARY_PATH的值,把包含两个库so的目录加入,再次执行scrapy startproject tutorial,可以成功建立工程了。

使用easy_install是很方便,依赖的配置都可以自动下载,但是对于没有外网的环境来说,单独下载还是很麻烦的,而它的windows版本基本把依赖的库都包含了,直接安装即可。要是提供代码的时候的顺便把依赖包也提供一份就好了,就像ogre3D提供的dependencies那样,我要做项目,会提供出建议的依赖包,方便小白用户使用。
版权声明:本文为博主原创文章,未经博主允许不得转载。

Linux下scrapy安装问题汇总

首先,在安装scrapy之前,需要用apt-get以及pip安装以下依赖包: apt-get install build-essential python3-dev libssl-dev libff...
  • u013942394
  • u013942394
  • 2017年05月26日 10:10
  • 756

Linux 下Scrapy的安装

Ubuntu下Scrapy安装在上一篇博客中,简单的说了我在windows下安装Python+Scrapy。在这篇文章中将记录我在Ubuntu下安装Scrapy。 废话不多说,下面进入正题。我的系统...
  • jn_aswq
  • jn_aswq
  • 2015年06月03日 20:38
  • 1022

ubuntu linux 安装 scrapy 及遇到的问题

1. scrapy英文文档网址如下 http://doc.scrapy.org/en/latest/intro/install.html2. 安装流程 pip 安装pythonsudo apt-get...
  • yuqiongran
  • yuqiongran
  • 2016年08月17日 22:18
  • 1145

Python网络爬虫4 ---- Linux下编写最简单的scrapy网络爬虫项目

首先我们需要先安装scrapy框架,没有安装的同学可以看ubuntu下安装scrapy网络爬虫框架        创建一个项目       1 进入到想要创建项目的目录: scrapy startpr...
  • cgl1079743846
  • cgl1079743846
  • 2014年02月22日 21:42
  • 6752

Pycharm中的scrapy安装教程

Pycharm中的scrapy安装教程   在利用pycharm安装scrapy包是遇到了挺多的问题。在折腾了差不多折腾了两个小时之后总算是安装好了。期间各种谷歌和百度,发现所有的教程都...
  • Harvey__
  • Harvey__
  • 2016年05月05日 22:09
  • 356

CentOS7安装Scrapy和一些爬虫会用到的服务

博客链接 https://uublog.com/article/20170308/centos7-install-scrapy/ 讯云这几天搞活动,免费领了三个月的免费VPS。所以想把本地虚拟机的s...
  • MichaelJScofield
  • MichaelJScofield
  • 2017年05月16日 10:23
  • 887

关于在Windows下pip install Scrapy的若干问题小结

关于在Windows下pip install Scrapy的若干问题小结比起Linux,在windows中安装各种python外置库的过程简直痛苦不堪,这里以Scrapy为例,直接进入正题。 问题一、...
  • qq_19550513
  • qq_19550513
  • 2016年11月07日 17:56
  • 1441

centos 下安装scrapy过程及遇到的问题

问题: 1. centos6.6下自带安装的是python2.6.6(yum使用不了python2.7),而我们使用scrapy需要使用的是python2.7,因此会有一些麻烦,幸运的是在python...
  • QZC295919009
  • QZC295919009
  • 2015年01月04日 11:06
  • 1259

Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy

原文转载自:http://www.cnblogs.com/HelloPython/ 根据Scrapy安装指南(http://doc.scrapy.org/en/latest/intr...
  • cgl1079743846
  • cgl1079743846
  • 2014年02月20日 20:12
  • 4235

利用Anaconda简单安装scrapy框架

引言:使用pip install 来安装scrapy需要安装大量的依赖库,这里我使用了Anaconda来安装scrapy,安装时只需要一条语句:conda install scrapy即可 步骤1:...
  • qijingpei
  • qijingpei
  • 2017年04月16日 11:05
  • 4865
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:linux下安装scrapy
举报原因:
原因补充:

(最多只允许输入30个字)