win7安装python3.6失败_win7安装python3.6.1及scrapy

---恢复内容开始---

第一篇博客,记录自己自学python的过程及问题。

首先下载python3.6.1及所需资料

百度云:https://pan.baidu.com/s/1geOEp6z

密码:1fuw

文件列表如下:

L3Byb3h5L2h0dHBzL2ltYWdlczIwMTcuY25ibG9ncy5jb20vYmxvZy8xMjMxMzcyLzIwMTcwOS8xMjMxMzcyLTIwMTcwOTA5MjIwMDUzMzgyLTIxNDM4NDMxOTcucG5n.jpg

先安装 python-3.6.1-amd64.exe。

L3Byb3h5L2h0dHBzL2ltYWdlczIwMTcuY25ibG9ncy5jb20vYmxvZy8xMjMxMzcyLzIwMTcwOS8xMjMxMzcyLTIwMTcwOTA5MjIwMjUzNTg1LTYwNDcwOTkxLnBuZw==.jpg

L3Byb3h5L2h0dHBzL2ltYWdlczIwMTcuY25ibG9ncy5jb20vYmxvZy8xMjMxMzcyLzIwMTcwOS8xMjMxMzcyLTIwMTcwOTA5MjIwMzE4MTYzLTExNDIwMDY5NjUucG5n.jpg

L3Byb3h5L2h0dHBzL2ltYWdlczIwMTcuY25ibG9ncy5jb20vYmxvZy8xMjMxMzcyLzIwMTcwOS8xMjMxMzcyLTIwMTcwOTA5MjIwMzM1MTk0LTg2MzEzMTQ1OC5wbmc=.jpg

安装完成后进入cmd,输入python

L3Byb3h5L2h0dHBzL2ltYWdlczIwMTcuY25ibG9ncy5jb20vYmxvZy8xMjMxMzcyLzIwMTcwOS8xMjMxMzcyLTIwMTcwOTA5MjIxMzA3MTAxLTI0MzgxNDIyNC5wbmc=.jpg

安装成功。

下面安装scrapy依赖插件。

通过命令:pip install xxxx 安装以下文件

安装lxml-3.7.3-cp36-cp36m-win_amd64.whl

安装zope.interface-4.3.3-cp36-cp36m-win_amd64.whl

安装pywin32-221-cp36-cp36m-win_amd64.whl

安装Twisted-17.1.0-cp36-cp36m-win_amd64.whl

通过pip安装OpenSSL: pip install pyOpenSSL

安装之后验证scrapy依赖项是否安装成功的方法:

cmd执行python进入python控制台

● 执行import lxml,如果没报错,则说明lxml安装成功。

● 执行import twisted,如果没报错,则说明twisted安装成功。

● 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功。

● 执行import zope.interface,如果没报错,则说明zope.interface安装成功。

下面安装scrapy

pip install scrapy==1.1.0rc3

安装完成后验证是否安装成功,cmd输入下面命令

scrapy version

返回

Scrapy 1.1.0rc3

安装成功。

然后安装 Microsoft Visual Studio,本人安装的是2015专业版,安装的时候要选上编程环境。

成功后就可以就可以新建我们的爬虫项目测试了。

下面以爬取百度的标题为例:

进入控制台输出 scrapy startproject baidu

L3Byb3h5L2h0dHBzL2ltYWdlczIwMTcuY25ibG9ncy5jb20vYmxvZy8xMjMxMzcyLzIwMTcwOS8xMjMxMzcyLTIwMTcwOTA5MjIyMzM0MDIyLTEzMDMwMTY1LnBuZw==.jpg

创建一个爬虫文件

L3Byb3h5L2h0dHBzL2ltYWdlczIwMTcuY25ibG9ncy5jb20vYmxvZy8xMjMxMzcyLzIwMTcwOS8xMjMxMzcyLTIwMTcwOTA5MjIyNTIxMTYzLTE0NTk4NDMwMDQucG5n.jpg

使用pyCharm进入项目,修改代码如下

items.py

import scrapy

class BaiduItem(scrapy.Item):

# define the fields for your item here like:

# name = scrapy.Field()

title = scrapy.Field()

first.py

import scrapy

from baidu.items import BaiduItem

class FirstSpider(scrapy.Spider):

name = 'first'

allowed_domains = ['baidu.com']

start_urls = ['http://www.baidu.com/']

def parse(self, response):

item = BaiduItem()

item["title"] = response.xpath('/html/head/title/text()').extract()

print(item["title"])

settings.py修改下面代码,不遵守robots协议

ROBOTSTXT_OBEY = False

cmd执行下面命令返回 --nolog表示不打印日志

L3Byb3h5L2h0dHBzL2ltYWdlczIwMTcuY25ibG9ncy5jb20vYmxvZy8xMjMxMzcyLzIwMTcwOS8xMjMxMzcyLTIwMTcwOTA5MjIzNzQzNzQxLTEyNDIyNjg1MjYucG5n.jpg

所有环境安装成功。

若是执行的时候报错

TypeError: 'float' object is not iterable

则是因为scrapy版本太低,建议手动下载高版本到本地安装,上面分享的网盘资料有下好的文件。

进入cmd,进入文件保存目录,执行 pip install Scrapy-1.4.0-py2.py3-none-any.whl

返回success 就OK了。

本人初学python,第一次写博客,如果有什么说的不准确的地方欢迎大家一起来讨论。

python3.5爬虫框架Scrapy的安装和排错(windows环境)

本文记录win7系统下使用python3.5安装Scrapy爬虫框架. Scrapy框架目前的官方文档说明是还不支持windows的python3环境的,但是网友反映以及实际测试均可以使用,下面就进行 ...

win7(64bit)+python3.5+pyinstaller3.2安装和测试

最近因为做项目需要,需要在win7中安装pyinstaller用于将.py文件生成脱离python平台的可执行程序*.exe文件. 安装步骤 第一步:安装python3.5 [下载python3.5的 ...

python-1.Centos7安装Python3.6和Scrapy的方法

由于centos7原本就安装了Python2,而且这个Python2不能被删除,因为有很多系统命令,比如yum都要用到 [root@iZm5efjrz9szlsq1a0ai3gZ ~]# python ...

为编写网络爬虫程序安装Python3.5

1. 下载Python3.5.1安装包1.1 进入python官网,点击menu->downloads,网址:https://www.python.org/downloads/ 1.2 根据系统 ...

Mac安装python3.x+pycharm+elasticsearch+常见报错处理(1)

---恢复内容开始--- mac安装python有两种方式:此处叙述官网安装下载. mac 自带python2.x版本,python2和3之间的差距还是有的.下面简单叙述我安装python3.7的过程 ...

1.安装Python3和PyCharm

一.安装Python3 1.进入官网:www.python.org 2.下载(可以选择你自己的电脑系统版本,我这里是win7 64位) 3.然后点击XXX.exe傻瓜式安装 4.配置环境变量 [右键计 ...

centos7.4上安装python3环境的坑

前言:为了将爬虫项目布置到服务器上,才有了今天这一下午的坑,必须记录 不要动现有的python2环境!不要动现有的python2环境!不要动现有的python2环境! 解压 tar -xvf Pyth ...

centos6.9下安装python3.7

说明 以下所有操作都基于centos6.9 python3.7依赖openssl1.0.2,首先更新系统自带的openssl 建议 升级系统到centos7(系统openssl已升级到1.0.2) 升 ...

windows7 下安装python3.6开发环境

所有的软件都放在百度云盘里: 链接: https://pan.baidu.com/s/1rux8sDK9thhbZ1qjwQg6kA 密码: iq4c 1. 安装python3.6.5 安装的时候要把 ...

随机推荐

plist基本操作

重要概念:某些路径下“只能读,不能写”的原因 iPhone.ipad真机上 Resouces文件夹:是只读的,无法写入. document 和temp文件夹:可读,可写. 一.工程结构

在ABP中通过EF直接执行原生Sql的解决方案

一般情况下,使用EF中的查询语法和方法语法可以帮助我们完成绝大部分业务,但是也有特殊的情况需要直接执行Sql语句.比如,我们的业务过于复杂繁琐,或是有些业务使用EF操作时比较复杂,但是使用Sql时会很 ...

Android--按钮点击事件

Android中Button的点击事件非常简单,主要是一个内部类的问题 在界面上存在两个按钮和一个文本框,点击不同按钮的时候文本框中显示不同按钮的文字信息 <?xml version=&quot ...

net-snmp的安装

安装环境是ubuntu 14. 方法1:apt-get install  net-snmp (非root用户需要sudo 提升权限) 方法2:自定义安装选择不同的版本去编译. 1:先去下载所需要的ta ...

java中不常见的keyword:strictfp,transient

1.strictfp, 即 strict float point (精确浮点). strictfp keyword可应用于类.接口或方法.使用 strictfp keyword声明一个方法时,该方法中 ...

caffe源代码分析--data&lowbar;layer&period;cpp

dataLayer作为整个网络的输入层, 数据从leveldb中取. leveldb的数据是通过图片转换过来的. 网络建立的时候. datalayer主要是负责设置一些參数,比方batchsize.c ...

Objective-C路成魔【11-多态性、动态类型和动态绑定】

郝萌主倾心贡献.尊重作者的劳动成果,请勿转载. 假设文章对您有所帮助,欢迎给作者捐赠.支持郝萌主.捐赠数额任意,重在心意^_^ 我要捐赠: 点击捐赠 Cocos2d-X源代码下载:点我传送 多态这个其 ...

博客迁移至 http&colon;&sol;&sol;www&period;loveli&period;site

对于博客园的Markdow 支持太过...,你懂的,  以后博客迁移至:http://www.loveli.site

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值