爬虫是python最常见的一类应用,但是如何自己动手来写一个爬虫,这可能是很多人关心的问题,这次准备用30分钟来教会大家如何自己动手编写一个Scrapy爬虫的应用
推荐一个不错的Scrapy视频教程给大家,可以直接点击观看:https://www.bilibili.com/video/av27042686/
一、理解爬虫原理
首先,我们需要理解爬虫的原理,只是拿一个库来用谁都会,但理解它的原理才对大家有好处
通过上图我们可以对爬虫的工作原理(不仅限于Scrapy框架)有一个认识:
- 数据源:需要知道从哪里拿到你要的数据,可以是Web,也可以是App或其他应用
- 下载器(Download):需要将数据下载到本机才能进行分析工作,而在下载中我们需要关注几件事:性能、模拟操作和分布式等
- 分析器(Parser):对已下载的数据进行分析,有很多种,比如HTML、正则、json等,当然,在分析的过程中,也能发现更多的链接,从而生成更多采集任务
- 数据存储(Storage):可以将数据保存在数据或磁盘上,以供后续产品的调取、分析等
既然理解了爬虫的原理,我们可以更进一步的认识一下Scrapy框架
二、认识Scrapy框架
Scrapy是Python中很成熟、很常用的一个框架,大部分Python爬虫都是由Scrapy来编写的,那么,为了理解Scrapy的基本结构,我们先来看一张图:
其实,这张图和我们之前说的爬虫原理是一一对应的,我们来看看:
- 下载器(Downloader):将数据下载回来,以供分析
- 爬虫(Spider):这个其实是用于分析的(Parser),用于对下载的数据进行分析
- 调度器(Scheduler):负责调度任务
- 数据管道(Pipeline):负责把数据导出给其他程序、文件、数据库
三、认识Scrapy项目
当然,只是了解上述内容其实意义不大,我们来通过动手做一个例子理解Scrapy
1.搭建初识项目环境
在正式开始编写爬虫之前,我们需要先来创建一个项目
$> scrapy startproject 项目名称
2.认识项目目录
先来了解一下刚刚创建好的目录里面都有什么
在这里面,其实只有两个东西是我们目前需要关心的:
- spiders目录:编写的所有爬虫类,都会放在这里
- settings.py:Scrapy框架提供的所有设置,都会通过这个文件来修改
3.理解“中间件”和”items”
本文我们先关心最基本的功能,所以不会过于深入Scrapy的细节,所以只对中间件和items的功能做一简单叙述,在其他文章中再详细说明:
- 中间件:由于各类数据源其实有很多差异,所以middlewares用于屏蔽这种差异,以便于统一处理
- items:对项目中所有数据进行统一化,生成统一的结构化数据,从而实现程序(爬虫和其他程序)的标准化
四、抓取案例
本案例中,我们准备抓取一个拍卖手机号的网站:http://www.jihaoba.com/escrow/
1.创建spider
在刚刚创建好的项目中,我们再创建一个文件:phone_spider.py
2.编写Spider类
import scrapy
class PhoneSpider(scrapy.Spider):
name='phone'
start_urls=[
'http://www.jihaoba.com/escrow/'
]
def parse(self, response):
pass
在这里我们主要关心几件事:
- name:spider的名字,用于启动抓取(后面会说)
- start_urls:起始抓取地址,后续任务可能产生更多url,但start_urls是入口
- parse方法:默认的解析回调方法,当下载完成后会自动调用
3.启动抓取
尽管现在还没有实际的工作,但我们可以试着启动爬虫的抓取
scrapy crawl phone
我们可以看到爬虫的抓取能够正常启动
4.为爬虫添加功能
我们可以继续为爬虫加入实际的功能
import scrapy
class PhoneSpider(scrapy.Spider):
name='phone'
start_urls=[
'http://www.jihaoba.com/escrow/'
]
def parse(self, response):
for ul in response.xpath('//div[@class="numbershow"]/ul'):
phone=ul.xpath('li[contains(@class,"number")]/a/@href').re("\\d{11}")[0]
price=ul.xpath('li[@class="price"]/span/text()').extract_first()[1:]
print(phone, price)
这里我们用了一个非常重要的东西——xpath,xpath是一种用于从XML和HTML中提取数据的查询语言,在这里不做赘述,想了解更多xpath的内容请点击https://www.bilibili.com/video/av30320885
再次启动抓取,我们会看到一些有用的数据产生了
5.爬虫数据导出
当然,我们现在只是把print出来,这肯定不行,需要把数据保存到文件中,以便后续使用
所以,将print改为yield
import scrapy
class PhoneSpider(scrapy.Spider):
name='phone'
start_urls=[
'http://www.jihaoba.com/escrow/'
]
def parse(self, response):
for ul in response.xpath('//div[@class="numbershow"]/ul'):
phone=ul.xpath('li[contains(@class,"number")]/a/@href').re("\\d{11}")[0]
price=ul.xpath('li[@class="price"]/span/text()').extract_first()[1:]
#print(phone, price)
yield {
"phone": phone,
"price": price
}
再次运行,并且需要修改运行命令,添加输出选项
scrapy crawl phone
改为
scrapy crawl phone -o data.json
我们可以看到,运行后目录中会多出一个data.json,打开后就是我们要的结果数据
注意,这里导出的价格中,有的带有“\u4e07”,这其实是中文“万”的unicode码,并不影响数据使用
6.抓取更多数据
目前只抓取了第一页的数据,而我们希望能获取所有的数据,所以需要找到下一页的地址,并让爬虫进入其中继续抓取
所以,我们需要对代码进行修改
import scrapy
class PhoneSpider(scrapy.Spider):
name='phone'
start_urls=[
'http://www.jihaoba.com/escrow/'
]
def parse(self, response):
for ul in response.xpath('//div[@class="numbershow"]/ul'):
phone=ul.xpath('li[contains(@class,"number")]/a/@href').re("\\d{11}")[0]
price=ul.xpath('li[@class="price"]/span/text()').extract_first()[1:]
#print(phone, price)
yield {
"phone": phone,
"price": price
}
#继续抓取下一页
next="http://www.jihaoba.com"+response.xpath('//a[@class="m-pages-next"]/@href').extract_first()
yield scrapy.Request(next)
我们再次启动爬虫
scrapy crawl phone -o data.json
这次,我们会得到比之前多的数据
转载于:https://blog.51cto.com/13573668/2174169