---恢复内容开始---
第一篇博客,记录自己自学python的过程及问题。
首先下载python3.6.1及所需资料
百度云:https://pan.baidu.com/s/1geOEp6z
密码:1fuw
文件列表如下:
先安装 python-3.6.1-amd64.exe。
安装完成后进入cmd,输入python
安装成功。
下面安装scrapy依赖插件。
通过命令:pip install xxxx 安装以下文件
安装lxml-3.7.3-cp36-cp36m-win_amd64.whl
安装zope.interface-4.3.3-cp36-cp36m-win_amd64.whl
安装pywin32-221-cp36-cp36m-win_amd64.whl
安装Twisted-17.1.0-cp36-cp36m-win_amd64.whl
通过pip安装OpenSSL: pip install pyOpenSSL
安装之后验证scrapy依赖项是否安装成功的方法:
cmd执行python进入python控制台
● 执行import lxml,如果没报错,则说明lxml安装成功。
● 执行import twisted,如果没报错,则说明twisted安装成功。
● 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功。
● 执行import zope.interface,如果没报错,则说明zope.interface安装成功。
下面安装scrapy
pip install scrapy==1.1.0rc3
安装完成后验证是否安装成功,cmd输入下面命令
scrapy version
返回
Scrapy 1.1.0rc3
安装成功。
然后安装 Microsoft Visual Studio,本人安装的是2015专业版,安装的时候要选上编程环境。
成功后就可以就可以新建我们的爬虫项目测试了。
下面以爬取百度的标题为例:
进入控制台输出 scrapy startproject baidu
创建一个爬虫文件
使用pyCharm进入项目,修改代码如下
items.py
import scrapy
class BaiduItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
first.py
import scrapy
from baidu.items import BaiduItem
class FirstSpider(scrapy.Spider):
name = 'first'
allowed_domains = ['baidu.com']
start_urls = ['http://www.baidu.com/']
def parse(self, response):
item = BaiduItem()
item["title"] = response.xpath('/html/head/title/text()').extract()
print(item["title"])
settings.py修改下面代码,不遵守robots协议
ROBOTSTXT_OBEY = False
cmd执行下面命令返回 --nolog表示不打印日志
所有环境安装成功。
若是执行的时候报错
TypeError: 'float' object is not iterable
则是因为scrapy版本太低,建议手动下载高版本到本地安装,上面分享的网盘资料有下好的文件。
进入cmd,进入文件保存目录,执行 pip install Scrapy-1.4.0-py2.py3-none-any.whl
返回success 就OK了。
本人初学python,第一次写博客,如果有什么说的不准确的地方欢迎大家一起来讨论。
python3.5爬虫框架Scrapy的安装和排错(windows环境)
本文记录win7系统下使用python3.5安装Scrapy爬虫框架. Scrapy框架目前的官方文档说明是还不支持windows的python3环境的,但是网友反映以及实际测试均可以使用,下面就进行 ...
win7(64bit)+python3.5+pyinstaller3.2安装和测试
最近因为做项目需要,需要在win7中安装pyinstaller用于将.py文件生成脱离python平台的可执行程序*.exe文件. 安装步骤 第一步:安装python3.5 [下载python3.5的 ...
python-1.Centos7安装Python3.6和Scrapy的方法
由于centos7原本就安装了Python2,而且这个Python2不能被删除,因为有很多系统命令,比如yum都要用到 [root@iZm5efjrz9szlsq1a0ai3gZ ~]# python ...
为编写网络爬虫程序安装Python3.5
1. 下载Python3.5.1安装包1.1 进入python官网,点击menu->downloads,网址:https://www.python.org/downloads/ 1.2 根据系统 ...
Mac安装python3.x+pycharm+elasticsearch+常见报错处理(1)
---恢复内容开始--- mac安装python有两种方式:此处叙述官网安装下载. mac 自带python2.x版本,python2和3之间的差距还是有的.下面简单叙述我安装python3.7的过程 ...
1.安装Python3和PyCharm
一.安装Python3 1.进入官网:www.python.org 2.下载(可以选择你自己的电脑系统版本,我这里是win7 64位) 3.然后点击XXX.exe傻瓜式安装 4.配置环境变量 [右键计 ...
centos7.4上安装python3环境的坑
前言:为了将爬虫项目布置到服务器上,才有了今天这一下午的坑,必须记录 不要动现有的python2环境!不要动现有的python2环境!不要动现有的python2环境! 解压 tar -xvf Pyth ...
centos6.9下安装python3.7
说明 以下所有操作都基于centos6.9 python3.7依赖openssl1.0.2,首先更新系统自带的openssl 建议 升级系统到centos7(系统openssl已升级到1.0.2) 升 ...
windows7 下安装python3.6开发环境
所有的软件都放在百度云盘里: 链接: https://pan.baidu.com/s/1rux8sDK9thhbZ1qjwQg6kA 密码: iq4c 1. 安装python3.6.5 安装的时候要把 ...
随机推荐
plist基本操作
重要概念:某些路径下“只能读,不能写”的原因 iPhone.ipad真机上 Resouces文件夹:是只读的,无法写入. document 和temp文件夹:可读,可写. 一.工程结构
在ABP中通过EF直接执行原生Sql的解决方案
一般情况下,使用EF中的查询语法和方法语法可以帮助我们完成绝大部分业务,但是也有特殊的情况需要直接执行Sql语句.比如,我们的业务过于复杂繁琐,或是有些业务使用EF操作时比较复杂,但是使用Sql时会很 ...
Android--按钮点击事件
Android中Button的点击事件非常简单,主要是一个内部类的问题 在界面上存在两个按钮和一个文本框,点击不同按钮的时候文本框中显示不同按钮的文字信息 <?xml version=" ...
net-snmp的安装
安装环境是ubuntu 14. 方法1:apt-get install net-snmp (非root用户需要sudo 提升权限) 方法2:自定义安装选择不同的版本去编译. 1:先去下载所需要的ta ...
java中不常见的keyword:strictfp,transient
1.strictfp, 即 strict float point (精确浮点). strictfp keyword可应用于类.接口或方法.使用 strictfp keyword声明一个方法时,该方法中 ...
caffe源代码分析--data_layer.cpp
dataLayer作为整个网络的输入层, 数据从leveldb中取. leveldb的数据是通过图片转换过来的. 网络建立的时候. datalayer主要是负责设置一些參数,比方batchsize.c ...
Objective-C路成魔【11-多态性、动态类型和动态绑定】
郝萌主倾心贡献.尊重作者的劳动成果,请勿转载. 假设文章对您有所帮助,欢迎给作者捐赠.支持郝萌主.捐赠数额任意,重在心意^_^ 我要捐赠: 点击捐赠 Cocos2d-X源代码下载:点我传送 多态这个其 ...
博客迁移至 http://www.loveli.site
对于博客园的Markdow 支持太过...,你懂的, 以后博客迁移至:http://www.loveli.site