Scrapy
VelvetExodus
这个作者很懒,什么都没留下…
展开
-
Scrapy框架CrawSpider源码分析
引言 这一期的文章我们来分析一下 Scrapy 框架中 CrawSpider 类的源码,希望能够加深对其处理逻辑的理解。 CrawlSpider 源码分析 CrawlSpider 继承了 Spider,其入口函数是 start_requests,该函数的 callback 为 CrawlSpider 下的 _parse 函数。 def _parse(self, response, **kwargs): return self._parse_response( response=res原创 2020-09-27 10:29:08 · 261 阅读 · 0 评论 -
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇
Intro 大家好!这一期的文章来跟大家讲讲如何使用 Python Scrapy 框架实现对网页上图片的爬取并大量下载。我们以网易旗下的阴阳师手游为例,给大家演示一下游戏壁纸的抓取过程。 第一步:分析网页 html 结构 首先,我们打开阴阳师手游的官网,进入到游戏壁纸下载页面: 将网页下拉,我们还能看到更多的排成三列的壁纸图片: 按F12打开控制台,Shift + Ctrl + C 组合键开启查看网页元素的模式,然后将鼠标移动到某一张壁纸上面,选择一个分辨率按钮点击,我们可以看到相对应的图片标签: 知原创 2020-09-26 13:34:20 · 531 阅读 · 2 评论