求博客上的各位大神大佬帮帮弟弟,有偿,我真的自闭了----python scrapy框架问题

求博客上的各位大神大佬帮帮弟弟,有偿,我真的自闭了----python scrapy框架问题

代码如下:我要爬的是起点中文的排行榜爬虫代码:paihang.py
在这里插入图片描述

item 代码:
在这里插入图片描述

setting代码:

在这里插入图片描述

在这里插入图片描述

pipelines代码:
在这里插入图片描述

结果代码:
在这里插入图片描述

现在的问题:爬虫能运行 但是显示 0pages(at 0 pages/min)还有保存的json文件为空 0 KB
求各位大神大佬帮帮弟弟。感谢!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ScrapyPython 中一个强大的开源网络爬虫框架,可用于从网站上抓取数据。它实现了异步网络爬取、分布式爬取、自动限速、数据存储等功能,而且易于扩展。Ins 爬虫是使用 Scrapy 框架爬取 Instagram 网站上的数据,如图片、视频、用户信息等。 在使用 Scrapy 进行 Ins 爬虫时,需要先分析 Instagram 网站上的页面结构,确定需要抓取的数据类型和相应的网页元素。然后,可以编写 Scrapy爬虫程序,按照页面结构和元素进行数据抓取和解析,并将数据保存到数据库或文件中。 下面是一个简单的 Scrapy Ins 爬虫的代码示例: ```python import scrapy class InsSpider(scrapy.Spider): name = "ins" start_urls = [ 'https://www.instagram.com/explore/tags/puppy/', ] def parse(self, response): for post in response.css('article'): yield { 'image_url': post.css('img::attr(src)').get(), 'caption': post.css('a > div > div:nth-child(2) > span::text').get() } next_page = response.css('a.coreSpriteRightPaginationArrow::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 在这个例子中,我们定义了一个 InsSpider 类,继承自 scrapy.Spider 类。我们指定了爬虫的名称为 "ins",指定了抓取的起始 URL,即标签为 "puppy" 的帖子。在 parse() 方法中,我们使用 CSS 选择器选择了每个帖子的图片 URL 和标题,并通过 yield 语句将它们输出。然后,我们使用 CSS 选择器选择下一页的链接,如果存在,则继续访问下一页。 以上就是一个简单的 Scrapy Ins 爬虫的示例。当然,实际的爬虫程序要更加复杂,需要考虑反爬虫机制、数据清洗和存储等问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值