Python3环境安装Scrapy爬虫框架过程
1. 安装wheel
pip install wheel
![fabbb3da219ae7cbf5423bbf6f774c1c.png](https://i-blog.csdnimg.cn/blog_migrate/48c2f643205cf093556b6d5befcb1db1.jpeg)
安装检查:
![a9911a071aa17078e7cd223b964397a5.png](https://i-blog.csdnimg.cn/blog_migrate/eca6ce9a3ddac162a68b02a87929f25b.jpeg)
2. 安装lxml pip install lxml-4.2.1-cp36-cp36m-win_amd64.whl
去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载对应的Python版本
![02bcce82fba99fc4d0f2ca1a48934d6b.png](https://i-blog.csdnimg.cn/blog_migrate/08355a4b4da6454b51e03db63116e632.jpeg)
选择对于的版本进行下载:cp36代表的是Python版本是多少,这里我的版本是python36,操作系统是win64位的,所以我下载文件
lxml-4.2.1-cp36-cp36m-win_amd64.whl
下载下来的Python36 lxml 版本
![b70fe5475b9d7019da49e8819b5aea0d.png](https://i-blog.csdnimg.cn/blog_migrate/029ce736b6c56d34f5be0c96785b37f2.jpeg)
在DOS下切换到下载的目录下(cd D:softScrapy环境搭建)
执行:pip install lxml-4.2.1-cp36-cp36m-win_amd64.whl
![34509c6f8f1978235c106bf8e2da3265.png](https://i-blog.csdnimg.cn/blog_migrate/e74c2c56f051fd15e1e5d711c03ba481.jpeg)
3. 安装zope.interface
到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件,如果没有登录,需要登录。
![a3ef42886f723be88cfc6c4859e8d869.png](https://i-blog.csdnimg.cn/blog_migrate/059efb76ec738d2645344dde6b49db85.jpeg)
![1f84144e0a5aecfd9d3f2ba038476b27.png](https://i-blog.csdnimg.cn/blog_migrate/e041940e2654074b38f0fb007cd4d4b2.jpeg)
在DOS下切换到下载的目录下(cd D:softScrapy环境搭建)。
执行:pip install zope.interface-4.5.0-cp36-cp36m-win_amd64.whl
![304dfb7f1094ab8ce9e99ff1505f7ffa.png](https://i-blog.csdnimg.cn/blog_migrate/9816877a897b2671b5df97a84b32f5b6.jpeg)
4. 安装pyOpenSSL
官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads
![947d3b8e050bf8c45d5792e15238bd72.png](https://i-blog.csdnimg.cn/blog_migrate/67c56fa75b45cdca44835508c865ab46.jpeg)
下载pyOpenSSL-17.5.0-py2.py3-none-any.whl
![f602491cfb79f5435e27c980dc7d7435.png](https://i-blog.csdnimg.cn/blog_migrate/96bd1c71fc32c151543839bb1da93411.jpeg)
在DOS下切换到下载的目录下(cd D:softScrapy环境搭建)。
执行:pip install pyOpenSSL-17.5.0-py2.py3-none-any.whl
![652b164dacdead896f6a7afc20111c79.png](https://i-blog.csdnimg.cn/blog_migrate/617770f0b62e52f83ae0ddd9a0023d0e.jpeg)
5. 安装Twisted
同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。
如Python 3.6版本,Windows 64位系统,下载
Twisted-17.9.0-cp36-cp36m-win_amd64.whl,然后pip安装。
![69296b03b108fe4c390154e45172e508.png](https://i-blog.csdnimg.cn/blog_migrate/bb4187bbb01c2f595e54249f1b631d81.jpeg)
在DOS下切换到下载的目录下
执行:pip install Twisted-17.9.0-cp36-cp36m-win_amd64.whl
![24ac64e9db1a3833f8bb212464dd8f16.png](https://i-blog.csdnimg.cn/blog_migrate/496c290abccb89f83d78036c07341b12.jpeg)
6. 安装pywin32
从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装。
![ed498d851e8dd9416417015db41d17f8.png](https://i-blog.csdnimg.cn/blog_migrate/304a304ede7ddfaeffa96efa191ca5ce.jpeg)
下载
![f83a352036e67149236120334bfc2e18.png](https://i-blog.csdnimg.cn/blog_migrate/3815faa6a35942339d0f4268352cfffd.jpeg)
安装:
![0447f3abb188047bb4c48d00b5796e51.png](https://i-blog.csdnimg.cn/blog_migrate/48a720aa20c746093e607e65747e5200.jpeg)
在安装时会出现提示python3.6-32在注册表中不存在。
处理windos64位下python3.6安装pywin32的问题的方法
方法一
这个报的错是因为注册表问题,于是百度到下面一段代码
![7a21ba0e9107800afedbd8ac1b668f44.png](https://i-blog.csdnimg.cn/blog_migrate/258dbf6bef872d327ac7b13b98326540.jpeg)
这段代码执行以后可以自动将py3.6安装目录直接添加进注册表,检查了下注册表,的确出现了。
第一步按“win+R”或者点击开始菜单,找到运行,在运行输入框里面输入“regedit”,如下图所示:
![71aaef514280c102ef7dce08fa8f61d0.png](https://i-blog.csdnimg.cn/blog_migrate/7048a7da4840b8b631d45b22a1008f2f.jpeg)
在HKEY-CURRENT_USER–Software–Python–PythonCore–会发现3.6-32文件夹
![d1aab46f915f2bc02abc7db82974575f.png](https://i-blog.csdnimg.cn/blog_migrate/b54d6ad977e60f79e43bfa23ff22d28d.jpeg)
方法二: 把注册表3.6导出,名称另存为3.6-32,再导入注册表,重启电脑即可。
![e1cf03658ad09d7d7cc65321567bb09d.png](https://i-blog.csdnimg.cn/blog_migrate/456e8e0fe5ecb9da92439aad5820eec6.jpeg)
处理完之后,就可以安装pywin32-220.win-amd64-py3.6
![df18bb0086591d574a082a217089cf13.png](https://i-blog.csdnimg.cn/blog_migrate/09a6800a300a1bcd2a1f417268fd9704.jpeg)
7. 安装Scrapy pip install Scrapy
最后安装Scrapy即可,依然使用pip,命令如下:
![3f8cad8a36a5657d9363f33c4043adb6.png](https://i-blog.csdnimg.cn/blog_migrate/8d2e88c48f7b8daf7e7814802e67baf9.jpeg)
Scrapy 安装成功验证
![4e467d03fdf9f14d5d0314d030501092.png](https://i-blog.csdnimg.cn/blog_migrate/85c73baf8622e16e4522b147579e3a14.jpeg)
制作 Scrapy 爬虫一共需要4步:
- 新建项目 (scrapy startproject xxx):新建一个新的爬虫项目
- 明确目标 (编写items.py):明确你想要抓取的目标
- 制作爬虫 (spiders/xxspider.py):制作爬虫开始爬取网页
- 存储内容 (pipelines.py):设计管道存储爬取内容
步骤:
一. 新建项目(scrapy startproject)
1. 新建一个文件夹存放scrapy项目(D:爬虫_scriptscrapy_project)。
![785d47503a636a986d0bf4fee8a0d2bd.png](https://i-blog.csdnimg.cn/blog_migrate/8aaab9e429526bcf0e2cc0eef3bc09e4.jpeg)
2.从dos下进入到该目录下
![a4e160c2d5bc9c8c58b7b0afb144e70a.png](https://i-blog.csdnimg.cn/blog_migrate/ae6be4b2567f0cb2001d677c64e733ba.jpeg)
3.新建一个新的爬虫项目:scrapy startproject mySpiter
![803bb0cfe14dae6c9b1223be00f4fe76.png](https://i-blog.csdnimg.cn/blog_migrate/73066bfa7b07811fee24104d4f1df3fd.jpeg)
![932dafe9ba8f06bcedbc16ad4fb966ac.png](https://i-blog.csdnimg.cn/blog_migrate/ecedd47672d2eac11315f6b7d35f70e1.jpeg)
下面来简单介绍一下各个主要文件的作用:
scrapy.cfg :项目的配置文件
mySpider/ :项目的Python模块,将会从这里引用代码
mySpider/items.py :项目的目标文件
mySpider/pipelines.py :项目的管道文件
mySpider/settings.py :项目的设置文件
mySpider/spiders/ :存储爬虫代码目录
二、明确目标(mySpider/items.py)
我们打算抓取:http://www.itcast.cn/channel/teacher.shtml 网站里的所有讲师的姓名、职称和个人信息。
打开mySpider目录下的items.py
Item 定义结构化数据字段,用来保存爬取到的数据,有点像Python中的dict,但是提供了一些额外的保护减少错误。
可以通过创建一个 scrapy.Item 类, 并且定义类型为 scrapy.Field的类属性来定义一个Item(可以理解成类似于ORM的映射关系)。
接下来,创建一个ItcastItem 类,和构建item模型(model)。
import scrapy
class ItcastItem(scrapy.Item):
name = scrapy.Field()
level = scrapy.Field()
info = scrapy.Field()
三、制作爬虫 (spiders/itcastSpider.py)
爬虫功能要分两步:
1. 爬数据
- 在当前目录下输入命令,将在mySpider/spider目录下创建一个名为itcast的爬虫,并指定爬取域的范围:
- 打开 mySpider/spider目录里的 itcast.py,默认增加了下列代码:
scrapy genspider itcast "itcast.cn"import scrapy class ItcastSpider(scrapy.Spider): name = "itcast" allowed_domains = ["itcast.cn"] start_urls = ( 'http://www.itcast.cn/', ) def parse(self, response): pass
其实也可以由我们自行创建itcast.py并编写上面的代码,只不过使用命令可以免去编写固定代码的麻烦
要建立一个Spider, 你必须用scrapy.Spider类创建一个子类,并确定了三个强制的属性 和 一个方法。
- name = "" :这个爬虫的识别名称,必须是唯一的,在不同的爬虫必须定义不同的名字。
- allow_domains = [] 是搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页,不存在的URL会被忽略。
- start_urls = () :爬取的URL元祖/列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
- parse(self, response) :解析的方法,每个初始URL完成下载后将被调用,调用的时候传入从每一个URL传回的Response对象来作为唯一参数,主要作用如下:
- 负责解析返回的网页数据(response.body),提取结构化数据(生成item)
- 生成需要下一页的URL请求。
将start_urls的值修改为需要爬取的第一个url
start_urls = ("http://www.itcast.cn/channel/teacher.shtml