创建爬虫项目douban
scrapy startproject douban
设置items.py文件,存储要保存的数据类型和字段名称
# -*- coding: utf-8 -*- import scrapy class DoubanItem(scrapy.Item): title = scrapy.Field() # 内容 content = scrapy.Field() # 评分 rating_num = scrapy.Field() # 简介 quote = scrapy.Field()
设置爬虫文件doubanmovies.py
# -*- coding: utf-8 -*- import scrapy from douban.items import DoubanItem class Doubanmo
使用mongodb保存爬取豆瓣电影的数据
最新推荐文章于 2021-05-26 16:49:52 发布
本文介绍了一个创建的豆瓣电影爬虫项目,详细讲述了如何定义items.py以存储数据结构,编写doubanmovies.py爬虫文件,以及设置管道文件来利用MongoDB保存爬取的电影数据。同时,还提及了settings.py的配置,并在终端进行了测试。
摘要由CSDN通过智能技术生成