Python3.5.2爬虫框架库Scrapy安装,Twisted安装

原创 2017年10月12日 21:56:24

Python的API更新不匹配真是坑爹啊,再加上API开发与Python的版本不一致。。。Twisted和Python3.5.2绝对是有仇。。。
本文主要记录Python3.5.2安装Scrapy库需要wheel库、Twisted库等,主要麻烦是Twisted库更新与wheel和Scrapy端口不匹配。。。

首先,去https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2下载个Twisted-15.2.1.tar,解压缩打开命令行,python setup.py install安装这个版本Twisted包

然后,再去Python官网,
或者Twisted开发官网http://twistedmatrix.com/trac/
或者http://www.lfd.uci.edu/~gohlke/pythonlibs/
下载个最新版Twisted-17.9.0.whl文件,pip安装更新twisted15.2.1包

最后,pip install Scrapy就可以了。

如果Twisted不在旧版本基础上更新安装,会缺少文件导致17.9.0的Twisted和基础wheel包不匹配;如果不更新Twisted会导致Scrapy与旧版本Twisted15.2.1的不匹配,因为缺少twisted.persisted模块包。。。。
这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

安装Twisted、Scrapy爬虫框架

Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结 Scrapy Pthyon爬虫框架 logo[1]构化的数据。Scrapy用途广泛,可以...
  • xjh021
  • xjh021
  • 2014年01月11日 23:51
  • 1063

python Twisted Scrapy的安装

python 2.7.8 easy_install
  • q1596948728
  • q1596948728
  • 2014年10月27日 16:21
  • 906

在Mac上快速安装Scrapy,一键安装工具(不分别安装scrapy和twisted)

新配置了iMac 27,准备以它为主要的工作平台并控制分布式爬虫  总是在不同的设备上配置scrapy,于是需要一些较为快捷的方案 1.安装conda工具 Anaconda for OS X p...
  • xx1710
  • xx1710
  • 2016年04月11日 09:52
  • 1026

windows下 PyCharm安装scrapy

scrapy安装    一、python安装          我安装的是python2.7.10,安装注意看看是否添加环境变量          python官方网址:http://www.scra...
  • jly58fgjk
  • jly58fgjk
  • 2016年06月01日 16:18
  • 3813

在Windows 8.1下 安装基于Python 3.5.2的 Scrapy 框架 !已安装完成

第一步:安装Python 本人安装的是Python 3.5.2版本(一定注意安装过程中要勾选  path变量)我是默认安装在了C盘(3+版本的Python是默认安装pip和easy_install的,...
  • simple__happyness
  • simple__happyness
  • 2016年07月28日 18:08
  • 2422

Python3.6 scrapy安装系列问题 could not found Twisted

按照网上的教程各位是不是出现这样问题: 这个说明python3.6不支持这个,所以我们需要安装在python3.5上。 问题又来了,当你安装完Twisted是,还是会报这样的错 在解...
  • hardhard123
  • hardhard123
  • 2017年03月13日 15:47
  • 1216

在Python3.5下安装和测试Scrapy爬网站

Scrapy框架结构清晰,基于twisted的异步架构可以充分利用计算机资源,是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。...
  • fullerhua
  • fullerhua
  • 2016年10月28日 10:10
  • 5790

linux(ubuntu12.04)安装Twisted、Scrapy爬虫框架

最近初步学习研究python爬虫,一开始是用urllib2抓取页面请求来抓数据,后面导师建议到scrapy框架,找了一下网上安装教程,总算找到一个亲测有效的教程。 Scrapy,Python开发的...
  • keaixiaou
  • keaixiaou
  • 2014年01月11日 10:33
  • 2874

python第三方库scrapy框架的安装

1.确认python和pip安装成功 2.安装win32py          提供win32api,下载地址:https://sourceforge.net/projects/pywin32/fi...
  • qq_39996246
  • qq_39996246
  • 2018年01月11日 17:24
  • 225

windows 7 python3.4 安装scrapy与常见错误

检测pip是否已经安装 pip -h 安装scrapy pip install scrapy==1.1.0rc3  版本可不写 安装过程出现的问题 1、pip版本升级 | python -m ...
  • qq_34446485
  • qq_34446485
  • 2017年08月17日 16:03
  • 427
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python3.5.2爬虫框架库Scrapy安装,Twisted安装
举报原因:
原因补充:

(最多只允许输入30个字)