ubuntu16.04下安装scrapy框架

原创 2016年08月29日 16:26:51

一.按照官方文档的说明,安装scrapy 需要以下程序或者库:

(1)、Python 2.7

(2)、lxml。 Most linux distributions ships PRepackaged versions of lxml. Otherwise refer tohttp://lxml.de/installation.html

(3)、OpenSSL。 This comes preinstalled in all Operating systems except Windows (see Platform specific installation notes)

(4)、pip or easy_install Python package managers

二.安装lxml
pip install lxml即可

三.安装OpenSSL
sudo apt-get install python-openssl #安装openssl
sudo apt-get install libssl-dev #安装所需依赖

四.更新必要依赖
sudo apt-get install python-dev
sudo apt-get install libevent-dev

五.更新pip包管理工具
apt-get install python-pip

六.安装scrapy
pip install Scrapy

七.查看安装scrapy版本
scrapy version

  • Ps.

    • 安装过程中曾发生过 command ‘x86_64-linux-gnu-gcc’ failed with exit status 1这种报错,初步判断是说gcc的版本对不上,其实!我也不知道是怎么回事……
    • 但是在网上查询到几种解决方法:

      • sudo apt-get install libffi-dev
        sudo apt-get install libssl-dev
        sudo apt-get install python-dev

      • sudo apt-get install libxslt1-dev libxslt1.1 libxml2-dev libxml2 libssl-dev

      • 然后就通过升级setuptools的方式,也就是直接的sudo apt-get update就行了…
版权声明:本文为博主原创文章,未经博主允许不得转载。

Python2.7下安装Scrapy框架

由于毕业设计的要求,需要在网站上抓取大量的数据,那么使用Scrapy框架可以让这一过程变得简单不少,毕竟Scrapy是一个为了爬去网站数据、提取结构性数据而编写的应用框架。于是,便开始了我的安装Scr...
  • BeMoreQuiet
  • BeMoreQuiet
  • 2017年03月17日 12:42
  • 2412

Python3.6下scrapy框架的安装

scrapy的安装方法
  • liuweiyuxiang
  • liuweiyuxiang
  • 2017年03月31日 20:35
  • 9099

在Python3.5下安装和测试Scrapy爬网站

Scrapy框架结构清晰,基于twisted的异步架构可以充分利用计算机资源,是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。...
  • fullerhua
  • fullerhua
  • 2016年10月28日 10:10
  • 5524

大数据爬虫基础(三)Scrapy在ubuntu 16.04下的安装

Scrapy ubuntu下安装 系统:ubuntu 16.04 no gui 依赖包及依赖包的依赖包: 下列的安装步骤假定您已经安装好下列程序: http://scrapy.org/ Pytho...
  • dst1213
  • dst1213
  • 2016年04月24日 09:07
  • 2739

Linux-Ubuntu16.04下Python3.5安装pip3以及scrapy、numpy、itchat

Python3.x库安装
  • keith_bb
  • keith_bb
  • 2017年03月23日 10:03
  • 14689

Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy

原文转载自:http://www.cnblogs.com/HelloPython/ 根据Scrapy安装指南(http://doc.scrapy.org/en/latest/intr...
  • cgl1079743846
  • cgl1079743846
  • 2014年02月20日 20:12
  • 4212

在ubuntu16.04下安装mysql的简便方法

  • 2017年05月26日 10:55
  • 301KB
  • 下载

Anroid-vlc开源播放器代码编译及简单调用手把手 以及 Ubuntu 16.04下安装VLC并解决sudo apt-get build-dep vlc失败问题

最近尝试在Ubuntu 32位 中16.04中使用VLC播放视频,试了很多方法,要么是编译后打不开图形界面,要么是可以接受组播流,但不能正常解码为视频,最后终于找到方法,和大家分享一下,希望对你有帮助...
  • wodexiaochengxu
  • wodexiaochengxu
  • 2017年03月17日 11:50
  • 524

学习笔记(二)ubuntu16.04下Qt+opencv的安装配置及使用

一、Qt安装: 方法一:官网地址:http://www.qt.io/download/ 下载.run安装包 进入下载文件目录,执行下面的命令 chmod +x qt-creator-文件名....
  • XUTIAN1129
  • XUTIAN1129
  • 2018年01月04日 19:04
  • 77

ubuntu16.04下安装的mysql数据库问题

1 字符集问题 问题:在django中执行./manage.py createdb命令后出现: django.db.utils.OperationalError: (1366, "Incorrect ...
  • u011956172
  • u011956172
  • 2016年06月24日 09:50
  • 7257
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ubuntu16.04下安装scrapy框架
举报原因:
原因补充:

(最多只允许输入30个字)