scrapy爬虫框架 (4. item的介绍和使用)

1.item介绍

在items.py的函数里定义好我们预先需要的字段,并且引用此py文件的函数后,只能使用定义好的字段

2.item使用

2.1在items.py文件里定义预先使用的字段

items.py可以有多个函数,每个函数定义不同爬虫的预先使用字段,而在pipelines处理数据时得判断是哪个函数下的字段
.在这里插入图片描述

2.2在爬虫文件里引用该类,注意爬虫文件里出现的字段只能是该类定义过的

先爬取传智播客的教师数据
在这里插入图片描述
在爬取腾讯课堂的数据
在这里插入图片描述

2.3在pipelines里处理数据并显示

在这里插入图片描述
if isinstance(数据,数据类):这个语句的作用是对不同爬虫爬取的信息进行处理

2.4结果显示

运行爬取教师信息爬虫,结果为
在这里插入图片描述
运行爬取腾讯课堂爬虫,结果:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值