![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
weixin_45686246
这个作者很懒,什么都没留下…
展开
-
scrapy保存图片、音频
##爬取图片要用到的类 from scrapy.pipelines.images import ImagesPipeline class bilibili_dancePipeline(ImagesPipeline): ##重写get_media_request方法,请求图片链接 def get_media_requests(self, item, info): yield scrapy.Request(item['pic'],meta={'bvid':item['bvid']原创 2020-11-03 20:31:57 · 255 阅读 · 1 评论 -
scrapy爬虫 bilibili舞蹈区宅舞部分
下面展示一些 内联代码片。 import scrapy import json from scrapy_01.items import Bilibili_danceItem ''' 爬取bilibili舞蹈区宅舞部分, 按照时间排序,抓取一页20条,100页用于测试 爬取标题、简介、作者名字、bv号 其他的没取。 ''' class BilibiliDanceSpider(scrapy.Spider): name = 'bilibili_dance' allowed原创 2020-11-03 20:46:06 · 339 阅读 · 0 评论