了解Items.py
它的作用主要是用来处理获取的的数据,做数据清洗等操作
item对象主要是用来存储爬去数据,并对数据进行处理等等。类似于Python的字典,可以使用dict API进行获取参数。
API:
product.keys() 用于获取所有键值
product.items() 获取所有键值
修改Items.py
于是根据数据库建立共完成以下对象创建
class User(scrapy.Item):
#设置用户所需爬取信息
user_name = scrapy.Field() #用户名称
user_id = scrapy.Field() #用户ID
user_icon = scrapy.Field() #用户头像
user_fansnum = scrapy.Field() #用户粉丝数
user_desc = scrapy.Field() #用户简介
class Video(scrapy.Item):
#设置视频所需爬取信息
video_title = scrapy.Field() #视频标题
video_pubtime = scrapy.Field() #发布时间
video_viewcount = scrapy.Field() #播放量
video_id = scrapy.Field() #视频ID