pythonscrapy爬虫_Python Scrapy 爬虫框架实例（一）

最新推荐文章于 2024-07-06 23:16:57 发布
最新推荐文章于 2024-07-06 23:16:57 发布
阅读量107 收藏
点赞数
文章标签： pythonscrapy爬虫

之前有介绍 scrapy 的相关知识，但是没有介绍相关实例，在这里做个小例，供大家参考学习。

注：后续不强调python 版本，默认即为python3.x。

爬取目标

这里简单找一个图片网站，获取图片的先关信息。

该网站网址： http://www.58pic.com/c/

创建项目

终端命令行执行以下命令

scrapy startproject AdilCrawler

命令执行后，会生成如下结构的项目。

1213900-20181113115317691-253253420.png

执行结果如下

1213900-20181113123630288-1640368121.png

如上图提示，cd 到项目下，可以执行 scrapy genspider example example.com 命令，创建 名为example,域名为example.com 的 爬虫文件。

编写items.py

这里先简单抓取图片的作者名称、图片主题等信息。

#-*- coding: utf-8 -*-

#Define here the models for your scraped items#

#See documentation in:#https://doc.scrapy.org/en/latest/topics/items.html

importscrapyclassAdilcrawlerItem(scrapy.Item):#define the fields for your item here like:

#name = scrapy.Field()

author= scrapy.Field() #作者

theme= scrapy.Field() #主题

编写spider文件

进入AdilCrawler目录，使用命令创建一个基础爬虫类：

scrapy genspider thousandPic www.58pic.com#thousandPic为爬虫名，www.58pic.com为爬虫作用范围

执行命令后会在spiders文件夹中创建一个thousandPic.py的文件，现在开始对其编写：

#-*- coding: utf-8 -*-

importscrapy

#爬虫 小试

classThousandpicSpider(scrapy.Spider):

name= 'thousandPic'allowed_domains= ['www.58pic.com']

start_urls= ['http://www.58pic.com/c/']defparse(self, response):'''查看页面元素

/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()

因为页面中 有多张图，而图是以 /html/body/div[4]/div[3]/div[i] 其中i 为变量 作为区分的 ，所以为了获取当前页面所有的图

这里 不写 i 程序会遍历 该 路径下的所有 图片。'''#author 作者

#theme 主题author= response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()

theme= response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()#使用 爬虫的log 方法在控制台输出爬取的内容。

self.log(author)

self.log(theme)#使用遍历的方式 打印出 爬取的内容，因为当前一页有20张图片。

for i in range(1, 21):print(i,'****',theme[i - 1], ':',author[i - 1] )

执行命令,查看打印结果

scrapy crawl thousandPic

结果如下，其中DEBUG为 log 输出。

1213900-20181113125629465-1690032349.png

代码优化

引入 item AdilcrawlerItem

#-*- coding: utf-8 -*-

importscrapy#这里使用 import 或是 下面from 的方式都行，关键要看 当前项目在pycharm的打开方式，是否是作为一个项目打开的，建议使用这一种方式。

importAdilCrawler.items as items#使用from 这种方式，AdilCrawler 需要作为一个项目打开。#from AdilCrawler.items import AdilcrawlerItem

classThousandpicSpider(scrapy.Spider):

name= 'thousandPic'allowed_domains= ['www.58pic.com']

start_urls= ['http://www.58pic.com/c/']defparse(self, response):'''查看页面元素

/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()

因为页面中 有多张图，而图是以 /html/body/div[4]/div[3]/div[i] 其中i 为变量 作为区分的 ，所以为了获取当前页面所有的图

这里 不写 i 程序会遍历 该 路径下的所有 图片。'''item=items.AdilcrawlerItem()#author 作者

#theme 主题

author= response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()

theme= response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()

item['author'] =author

item['theme'] =themereturn item

再次运营爬虫，执行结果如下

1213900-20181113134020802-448048660.png

保存结果到文件

执行命令如下

scrapy crawl thousandPic -o items.json

会生成如图的文件

1213900-20181113134815419-1924673248.png

再次优化，使用 ItemLoader 功能类

使用itemLoader ，以取代杂乱的extract()和xpath()。

代码如下：

#-*- coding: utf-8 -*-

importscrapyfrom AdilCrawler.items importAdilcrawlerItem#导入 ItemLoader 功能类

from scrapy.loader importItemLoader#optimize 优化#爬虫项目优化

classThousandpicoptimizeSpider(scrapy.Spider):

name= 'thousandPicOptimize'allowed_domains= ['www.58pic.com']

start_urls= ['http://www.58pic.com/c/']defparse(self, response):'''查看页面元素

/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()

因为页面中 有多张图，而图是以 /html/body/div[4]/div[3]/div[i] 其中i 为变量 作为区分的 ，所以为了获取当前页面所有的图

这里 不写 i 程序会遍历 该 路径下的所有 图片。'''

#使用功能类 itemLoader,以取代 看起来杂乱的 extract() 和 xpath() ，优化如下i= ItemLoader(item = AdilcrawlerItem(),response =response )#author 作者

#theme 主题i.add_xpath('author','/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()')

i.add_xpath('theme','/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()')return i.load_item()

编写pipelines文件

默认pipelines.py 文件

#-*- coding: utf-8 -*-

#Define your item pipelines here#

#Don't forget to add your pipeline to the ITEM_PIPELINES setting#See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

classAdilcrawler1Pipeline(object):defprocess_item(self, item, spider):return item

优化后代码如下

#-*- coding: utf-8 -*-

#Define your item pipelines here#

#Don't forget to add your pipeline to the ITEM_PIPELINES setting#See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

importjsonclassAdilcrawlerPipeline(object):'''保存item数据'''

def __init__(self):

self.filename= open('thousandPic.json','w')defprocess_item(self, item, spider):#ensure_ascii=False 可以解决 json 文件中 乱码的问题。

text = json.dumps(dict(item), ensure_ascii=False) + ',\n' #这里是一个字典一个字典存储的，后面加个 ',\n' 以便分隔和换行。

self.filename.write(text)returnitemdefclose_spider(self,spider):

self.filename.close()

settings文件设置

修改settings.py配置文件

找到pipelines 配置进行修改

#Configure item pipelines#See https://doc.scrapy.org/en/latest/topics/item-pipeline.html#ITEM_PIPELINES = {#'AdilCrawler.pipelines.AdilcrawlerPipeline': 300,#}

#启动pipeline 必须将其加入到“ITEM_PIPLINES”的配置中#其中根目录是tutorial，pipelines是我的pipeline文件名，TutorialPipeline是类名

ITEM_PIPELINES ={'AdilCrawler.pipelines.AdilcrawlerPipeline': 300,

}#加入后，相当于开启pipeline，此时在执行爬虫，会执行对应的pipelines下的类，并执行该类相关的方法，比如这里上面的保存数据功能。

执行命令

scrapy crawl thousandPicOptimize

执行后生成如下图文件及保存的数据

1213900-20181113142245049-757891948.png

使用CrawlSpider类进行翻页抓取

使用crawl 模板创建一个 CrawlSpider

执行命令如下

scrapy genspider -t crawl thousandPicPaging www.58pic.com

items.py 文件不变，查看 爬虫 thousandPicPaging.py 文件

#-*- coding: utf-8 -*-

importscrapyfrom scrapy.linkextractors importLinkExtractorfrom scrapy.spiders importCrawlSpider, RuleclassThousandpicpagingSpider(CrawlSpider):

name= 'thousandPicPaging'allowed_domains= ['www.58pic.com']

start_urls= ['http://www.58pic.com/']

rules=(

Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),

)defparse_item(self, response):

i={}#i['domain_id'] = response.xpath('//input[@id="sid"]/@value').extract()

#i['name'] = response.xpath('//div[@id="name"]').extract()

#i['description'] = response.xpath('//div[@id="description"]').extract()

return i

修改后如下

#-*- coding: utf-8 -*-

importscrapy#导入链接规则匹配类，用来提取符合规则的连接

from scrapy.linkextractors importLinkExtractor#导入CrawlSpider类和Rule

from scrapy.spiders importCrawlSpider, RuleimportAdilCrawler.items as itemsclassThousandpicpagingSpider(CrawlSpider):

name= 'thousandPicPaging'allowed_domains= ['www.58pic.com']#修改起始页地址

start_urls = ['http://www.58pic.com/c/']#Response里链接的提取规则，返回的符合匹配规则的链接匹配对象的列表

#http://www.58pic.com/c/1-0-0-03.html 根据翻页连接地址，找到 相应的 正则表达式 1-0-0-03 -> \S-\S-\S-\S\S 而且 这里使用 allow

#不能使用 restrict_xpaths ，使用 他的话，正则将失效

page_link = LinkExtractor(allow='http://www.58pic.com/c/\S-\S-\S-\S\S.html', allow_domains='www.58pic.com')

rules=(#获取这个列表里的链接，依次发送请求，并且继续跟进，调用指定回调函数处理

Rule(page_link, callback='parse_item', follow=True), #注意这里的 ',' 要不会报错

)#加上这个 方法是为了 解决 parse_item() 不能抓取第一页数据的问题 parse_start_url 是 CrawlSpider() 类下的方法，这里重写一下即可

defparse_start_url(self, response):

i=items.AdilcrawlerItem()

author= response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()

theme= response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()

i['author'] =author

i['theme'] =themeyieldi#指定的回调函数

defparse_item(self, response):

i=items.AdilcrawlerItem()

author= response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()

theme= response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()

i['author'] =author

i['theme'] =themeyield i

再次执行

scrapy crawl thousandPicPaging

查看执行结果，可以看到是有4页的内容

1213900-20181113150334732-2114713703.png

再次优化引入ItemLoader 类

#-*- coding: utf-8 -*-

importscrapy#导入链接规则匹配类，用来提取符合规则的连接

from scrapy.linkextractors importLinkExtractor#导入CrawlSpider类和Rule

from scrapy.loader importItemLoaderfrom scrapy.spiders importCrawlSpider, RuleimportAdilCrawler.items as itemsclassThousandpicpagingopSpider(CrawlSpider):

name= 'thousandPicPagingOp'allowed_domains= ['www.58pic.com']#修改起始页地址

start_urls = ['http://www.58pic.com/c/']#Response里链接的提取规则，返回的符合匹配规则的链接匹配对象的列表

#http://www.58pic.com/c/1-0-0-03.html 根据翻页连接地址，找到 相应的 正则表达式 1-0-0-03 -> \S-\S-\S-\S\S 而且 这里使用 allow

#不能使用 restrict_xpaths ，使用 他的话，正则将失效

page_link = LinkExtractor(allow='http://www.58pic.com/c/\S-\S-\S-\S\S.html', allow_domains='www.58pic.com')

rules=(#获取这个列表里的链接，依次发送请求，并且继续跟进，调用指定回调函数处理

Rule(page_link, callback='parse_item', follow=True), #注意这里的 ',' 要不会报错

)#加上这个 方法是为了 解决 parse_item() 不能抓取第一页数据的问题 parse_start_url 是 CrawlSpider() 类下的方法，这里重写一下即可

defparse_start_url(self, response):

i= ItemLoader(item = items.AdilcrawlerItem(),response =response )

i.add_xpath('author','/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()')

i.add_xpath('theme','/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()')yieldi.load_item()#指定的回调函数

defparse_item(self, response):

i= ItemLoader(item = items.AdilcrawlerItem(),response =response )

i.add_xpath('author','/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()')

i.add_xpath('theme','/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()')yield i.load_item()

执行结果是一样的。

最后插播一条 在线正则表达式测试 工具的广告，地址： http://tool.oschina.net/regex/

应用如下

1213900-20181113151824562-257417314.png

至此，简单完成了一个网站的简单信息的爬取。后面还会有其他内容的介绍~

如果你要觉得对你有用的话，请不要吝惜你打赏，这将是我无尽的动力，谢谢！

weixin_39665302
关注
Python scrapy 爬虫入门（三）scrapy 爬虫示例
fengyang182的博客
02-26 537
要实现爬虫功能，只要执行四个步骤： 定义spider 类 确定 spider 的名称（name） 获取初始化请求（start_request） 解析数据 parse()
python scrapy 爬虫实例_scrapy爬虫完整实例
weixin_39600331的博客
12-08 2238
本文主要通过实例介绍了scrapy框架的使用，分享了两个例子，爬豆瓣文本例程 douban 和图片例程 douban_imgs ，具体如下。例程1： douban目录树douban--douban--spiders--__init__.py--bookspider.py--douban_comment_spider.py--doumailspider.py--__init__.py--items....
Python爬虫——Scrapy框架（附有实战）
热门推荐
霖hero
09-06 1万+
大家好！我是霖hero 有一天，我在逛街，突然被一声靓仔打断了我的脚步，回头一看，原来是水果摊阿姨叫我买水果，说我那么靓仔，便宜一点买给我，自恋的我无法拒绝阿姨的一声声靓仔，于是买了很多水果回家，家人问我水果多少钱，结果如何，没错，水果买贵了！今天我们使用scrapy框架来爬取北京新发地价格行情，了解商品价格，家人再也不怕我买贵东西啦。 Scrapy 在爬取之前，我们先来学习一下什么Scrapy框架。 Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，是提取结构性数
Scrapy爬虫框架详解（python）
最新发布
vbgesab的博客
07-06 1592
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scratch，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧，就叫它：小抓抓吧。
python Scrapy 爬虫实例
1
11-30 332
https://www.jianshu.com/p/78f0bc64feb8   1.新建项目 scrapy startproject cnblog 2.pycharm 打开项目 image.png 3.新建spider image.png 新建main.py from scrapy import cmdline cmdline.execute("scrapy cr...
[Python爬虫] scrapy爬虫系列 <一>.安装及入门介绍
weixin_33827731的博客
11-08 695
前面介绍了很多Selenium基于自动测试的Python爬虫程序，主要利用它的xpath语句，通过分析网页DOM树结构进行爬取内容，同时可以结合Phantomjs模拟浏览器进行鼠标或键盘操作。但是，更为广泛使用的Python爬虫框架是——Scrapy爬虫。这是一篇在Windows系统下介绍 Scrapy爬虫安装及入门介绍的相关文章。 ...
python scrapy爬虫
亚马逊丛林
09-06 434
http://scrapy-chs.readthedocs.org/
完整版Python网络爬虫之Scrapy爬虫框架使用案例教程含源代码共18页.pdf
06-19
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都...
pythonscrapy爬虫实例Python爬虫Scrapy实例
02-04
### Python爬虫Scrapy实例详解 #### 创建Scrapy项目 Scrapy是一款强大的开源网页抓取框架，被广泛应用于数据采集领域。本文档旨在通过一个具体的示例，详细讲解如何使用Scrapy创建并运行一个基本的爬虫项目。 ###...
Python Scrapy 爬虫框架demo
12-04
在"Python Scrapy 爬虫框架demo"中，我们可以看到一个完整的Scrapy项目实例，包括了后端数据库集成的相关逻辑。 1. **Scrapy的基本架构**： - Scrapy由多个组件构成，如Spiders、Item、Item Pipeline、Request/...
scrapy爬虫实例代码
05-06
此部分代码是使用scrapy框架进行爬虫的实例，按照以下文章分享的内容进行整理的https://cuiqingcai.com/3472.html，欢迎有兴趣的同学进行下载学习。
基于scrapy的爬虫小例子
08-29
基于scrapy的爬虫小例子，用python3编写，成功爬取指定网址网页内容基于scrapy的爬虫小例子，用python3编写，成功爬取指定网址网页内容
python scrapy 爬虫
Yannis的博客
03-05 755
今天没事浅谈一下爬虫，有一次项目中用到数据，就开始用python爬虫，爬到的数据直接插到数据库，项目可以直接从数据库查找数据，审核后，可以在前台展示，爬取的速度比较慢，后来又用java写了一个爬虫代码，速度也是很慢，最后决定用scrapy这个爬虫框架爬虫，不错，速度确实比之前速度快了一些。         在用scrapy爬取数据前，需要安装python下redis，mongdb相关的包，安装就
Python-scrapy爬虫
Octong的博客
10-02 2977
Python-scrapy爬虫 目录Python-scrapy爬虫CHAPTER21.HTTP基本原理2.HTMLHTMLJavaScriptCSS3.使用XPath定位CHAPTER3Scrapy框架安装scrapy项目：起点中文网小说数据CHAPTER4request对象应用：伪装成浏览器使用选择器提取数据Response对象使用CSS定位Item封装数据ItemLoader填充数据Pipeline中处理数据获取下一页url，并生成一个Request请求项目：链家网二手房信息创建项目使用Item封装数据
python之scrapy爬虫1
koki的博客
01-12 256
前言 以下的两个图片的流程一致 一、 实操内容： 安装scrapy(pip install scrapy) 对于安装scrapy插件。需要使用命令多安装几次才可以成功！！ 创建项目 实操内容： scrapy startproject myspider1 ls 实操内容： 查看新建项目的根目录 实操内容： tree myspider1/ 创建后所在用户文件下的位置： 实操内容： C:\Users\Administrator\myspider1 :\Users\Ad
python运行scrapy爬虫
zhubbjimanglai的博客
02-23 207
一般教程中教大在命令行运行爬虫： 方式一 $ scrapy crawl spider_name 1 2 3 这样，每次都要切换到命令行，虽然可以按向上键得到上次运行的指令，不过至少还要敲一次运行命令 还有一种方式是单独配置一个文件，spider_name是具体爬虫名称，通过pycharm运行设置，不过每次都要改爬虫名称，而且不利于git提交 方式二 from scrapy import cmdli...
python爬虫--scrapy（初识）
qq_43710889的博客
03-28 1471
文章目录python爬虫--scrapy（初识）scrapy环境安装scrapy基本使用糗事百科数据解析 python爬虫–scrapy（初识） scrapy环境安装 因为我是同时安装anaconda和python3.7，所以在使用pip的时候总是会显示anaconda中已经安装（众所周知）。 PS：也有可能直接使用conda install scrapy就可以了（我没试） 出现这张图后，就说明已经安装完成
深入探索Python Scrapy爬虫框架
"这是一本关于Python Scrapy爬虫框架的详细指南，主要面向英语基础扎实的学习者。书中深入解析了Scrapy的工作原理，并提供了丰富的实际代码和示例，帮助读者掌握这一强大的网络爬虫工具。" Scrapy是一个用Python...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值