Python3.5.2爬虫框架库Scrapy安装,Twisted安装

原创 2017年10月12日 21:56:24

Python的API更新不匹配真是坑爹啊,再加上API开发与Python的版本不一致。。。Twisted和Python3.5.2绝对是有仇。。。
本文主要记录Python3.5.2安装Scrapy库需要wheel库、Twisted库等,主要麻烦是Twisted库更新与wheel和Scrapy端口不匹配。。。

首先,去https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2下载个Twisted-15.2.1.tar,解压缩打开命令行,python setup.py install安装这个版本Twisted包

然后,再去Python官网,
或者Twisted开发官网http://twistedmatrix.com/trac/
或者http://www.lfd.uci.edu/~gohlke/pythonlibs/
下载个最新版Twisted-17.9.0.whl文件,pip安装更新twisted15.2.1包

最后,pip install Scrapy就可以了。

如果Twisted不在旧版本基础上更新安装,会缺少文件导致17.9.0的Twisted和基础wheel包不匹配;如果不更新Twisted会导致Scrapy与旧版本Twisted15.2.1的不匹配,因为缺少twisted.persisted模块包。。。。
这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

安装Twisted、Scrapy爬虫框架

Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结 Scrapy Pthyon爬虫框架 logo[1]构化的数据。Scrapy用途广泛,可以...
  • xjh021
  • xjh021
  • 2014年01月11日 23:51
  • 888

在Windows 8.1下 安装基于Python 3.5.2的 Scrapy 框架 !已安装完成

第一步:安装Python 本人安装的是Python 3.5.2版本(一定注意安装过程中要勾选  path变量)我是默认安装在了C盘(3+版本的Python是默认安装pip和easy_install的,...

Python 第三方库 Twisted 安装与 Scrapy 安装

前前后后总共安装了5个库,终于把 Twisted 安装好了 真心不容易 特开此博客,给以后需要安装这个库的人一点提示,如果我这缺少其他没有发现必要的库,请在评论区告诉我系统: MacOS Sier...

scrapy windows 安装教程 python 爬虫框架

本次安装使用的系统环境是windows xp。以下给出具体步骤。我想如果照做一定能够成功哦。   1.安装python2.6.这里选择的是python2.6,为什么选择这个版本, 首先,s...
  • yagamil
  • yagamil
  • 2015年02月10日 10:16
  • 1516

python爬虫框架-Scrapy安装详细教程

首先说明一下,我这里讲的是Windows64/32位操作系统下的安装教程。其他linux、Ubuntu环境下的安装暂时还未整理。请自行寻找教程。安装Scrapy主要分为一下九个步骤: 1. 安装py...
  • MTbaby
  • MTbaby
  • 2017年07月14日 16:22
  • 313

学习安装python的Scrapy爬虫框架

前言:很多人都是奔着爬虫去学习Python的,Scrapy是基于python的一个爬虫框架,小编在学习的时候按照书上来一步一步走,很遗憾失败了。又按照网上乱七八糟的安装教程来安装,结果可想而知。我在这...

静觅 » Python爬虫进阶三之Scrapy框架安装配置

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下。 Windows 平台: ...

Window环境下安装基于Python的Scrapy网络爬虫框架

摘要Window环境下安装Scrapy框架的过程及一些错误的解决。具体环境:Windows 8.1 +Python 2.7...

Python爬虫框架Scrapy安装

Scrapy框架安装
  • baalhuo
  • baalhuo
  • 2015年08月29日 00:43
  • 549
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python3.5.2爬虫框架库Scrapy安装,Twisted安装
举报原因:
原因补充:

(最多只允许输入30个字)