一.Scrapy命令小结
scrapy 二.Scrapy运行流程
Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下
Scrapy主要包括了以下组件：
1.引擎(Scrapy)
用来处理整个系统的数据流处理, 触发事务(框架核心)
2.调度器(Scheduler)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
3.下载器(Downloader)
用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
4.爬虫(Spiders)
爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
5.项目管道(Pipeline)
负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
6.下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
7.爬虫中间件(Spider Middlewares)
介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
8.调度中间件(Scheduler Middewares)
介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。
Scrapy运行流程大概如下：
1.三.Scrapy安装后
1.项目结构及其爬虫应用简介
project_name/
scrapy.cfg
project_name/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
爬虫1.py
爬虫2.py文件说明：
scrapy.cfg 项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
items.py 设置数据存储模板，用于结构化数据，如：Django的Model
pipelines 数据处理行为，如：一般结构化的数据持久化
settings.py 配置文件，如：递归的层数、并发数，延迟下载等
spiders 爬虫目录，如：创建文件，编写爬虫规则四.编写爬虫
代码：
import scrapy
from scrapy.http.response.html import HtmlResponse
class XiaohuarSpider(scrapy.Spider):
name='xiaohuar'
allowed_domains=['xiaohuar.com']
start_urls=['http://www.xiaohuar.com/hua/']
def parse(self,response):
print(resopnse,type(response))
print(response.body_as_unicode())
current_url=reponse.url #爬取时请求url
body=response.body #返回的html
unicode_body=response.body_as_unicode() #返回html unicode编码关于windows的编码问题
import sys,io
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')备注：
1.爬虫文件需要定义一个类，并继承scrapy.spiders.Spider
2.必须定义name，即爬虫名，如果没有name，会报错。因为源码中是这样定义的。
3.编写函数parse，这里需要注意的是，该函数名不能改变，因为Scrapy源码中默认callback函数的函数名就是parse；
4.定义需要爬取的url，放在列表中，因为可以爬取多个url，Scrapy源码是一个For循环，从上到下爬取这些url，使用生成器迭代将url发送给下载器下载url的html。运行：进入spiders目录，运行命令：
格式：scrapy crawl +爬虫名-nolog 即不显示日志
注：urllib.urlretrieve(ab_src, file_path) ，接收文件路径和需要保存的路径，会自动去文件路径下载并保存到我们指定的本地路径。
例子1：mySpider代码编写
抓取：传智播客课程培训师资库网站里的所有讲师的姓名、职称和个人信息。
步骤：
1.打开mySpider目录下的items.py
2.Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。
3.可以通过创建一个 scrapy.Item 类， 并且定义类型为scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。
4.接下来，创建一个ItcastItem 类，和构建item模型（model）。代码：
import 爬虫：
1. 爬数据在当前目录下输入命令，将在mySpider/spider目录下创建一个名为itcast的爬虫，并指定爬取域的范围：
scrapy genspider itcast "itcast.cn"
##打开 mySpider/spider目录里的 itcast.py，默认增加了下列代码:
import scrapy
class ItcastSpider(scrapy.Spider):
name = "itcast"
allowed_domains = ["itcast.cn"]
start_urls = (
'http://www.itcast.cn/',
)
def parse(self, response):
pass解析：
要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性 和 一个方法。
name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)，生成需要下一页的URL请求。将start_urls的值修改为需要爬取的第一个url
start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)修改parse()方法
def parse(self, response):
filename = "teacher.html"
open(filename, 'w').write(response.body)然后运行一下看看，在mySpider目录下执行：
scrapy 2. 取数据
爬取整个网页完毕，接下来的就是的取过程了，首先观察页面源码：
<div class="li_txt">
<h3> xxx </h3>
<h4> xxxxx </h4>
<p> xxxxxxxx </p>
之前在mySpider/items.py 里定义了一个ItcastItem类。 这里引入进来
from mySpider.items import ItcastItem然后将我们得到的数据封装到一个 ItcastItem 对象中，可以保存每个老师的属性：
import scrapy
class ItcastSpider(scrapy.Spider):
name = 'itcast'
allowed_domains = ['itcast.cn']
start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)
def parse(self, response):
filename = "teacher.html"
open(filename, 'w').write(response.body)
from mySpider.items import ItcastItem
def parse(self, response):
open("teacher.html","wb").write(response.body).close()
# 存放老师信息的集合
items = []
for each in response.xpath("//div[@class='li_txt']"):
# 将我们得到的数据封装到一个 `ItcastItem` 对象
item = ItcastItem()
#extract()方法返回的都是unicode字符串
name = each.xpath("h3/text()").extract()
title = each.xpath("h4/text()").extract()
info = each.xpath("p/text()").extract()
#xpath返回的是包含一个元素的列表
item['name'] = name[0]
item['title'] = title[0]
item['info'] = info[0]
items.append(item)
# 直接返回最后数据
return items
scrapy保存信息的最简单的方法主要有四种，-o 输出指定格式的文件，，命令如下：
#json格式，默认为Unicode编码
scrapy crawl itcast -o teachers.json
#json lines格式，默认为Unicode编码
scrapy crawl itcast -o teachers.jsonl
#csv 逗号表达式，可用Excel打开
scrapy crawl itcast -o teachers.csv
#xml格式
scrapy crawl itcast -o teachers.xml
将代码改成下面形式，结果完全一样。
# 存放老师信息的集合
#items = []
for each in response.xpath("//div[@class='li_txt']"):
# 将我们得到的数据封装到一个 `ItcastItem` 对象
item = ItcastItem()
#extract()方法返回的都是unicode字符串
name = each.xpath("h3/text()").extract()
title = each.xpath("h4/text()").extract()
info = each.xpath("p/text()").extract()
#xpath返回的是包含一个元素的列表
item['name'] = name[0]
item['title'] = title[0]
item['info'] = info[0]
#items.append(item)
#将获取的数据交给pipelines
yield item
# 返回数据，不经过pipeline
#return items上述步骤总结：
scrapy startproject mySpider
cd mySpider
scrapy genspider itcast "itcast.cn"
scrapy crawl itcast
scrapy crawl itcast -o teachers.xml
例子2：
目标任务：爬取职位搜索 | 社会招聘 | Tencent 腾讯招聘
信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。
1.创建Scrapy项目
scrapy startproject Tencent
#根据提示输入cd+项目名字进入项目
cd Tencent命令执行后，会创建一个Tencent文件夹，结构如下：
2.编写item文件，根据需要爬取的内容定义爬取字段
import scrapy
class TencentItem(scrapy.Item):
# 职位名
positionname = scrapy.Field()
# 详情连接
positionlink = scrapy.Field()
# 职位类别
positionType = scrapy.Field()
# 招聘人数
peopleNum = scrapy.Field()
# 工作地点
workLocation = scrapy.Field()
# 发布时间
publishTime = scrapy.Field()
3.编写spider文件
进入Tencent目录，使用命令创建一个基础爬虫类：
# tencentPostion为爬虫名，tencent.com为爬虫作用范围
scrapy genspider tencentPostion "tencent.com"执行命令后会在spiders文件夹中创建一个tencentPostion.py的文件，如下：
现在开始对其编写：
import 参考链接：Python爬虫框架Scrapy实例（一） - YangPython - 博客园
这是我见过最屌的Scrapy框架入门教程！相当于是教科书版的教程！ - qq_42156420的博客 - CSDN博客
扫一扫
2830
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
