Python爬虫之scrapy框架360全网图片爬取

最新推荐文章于 2024-04-21 13:16:33 发布

陌小

最新推荐文章于 2024-04-21 13:16:33 发布

阅读量1.7k

点赞数

分类专栏： python 爬虫 scrapy 文章标签： 1024程序员节 python json

本文链接：https://blog.csdn.net/weixin_44356081/article/details/109253880

版权

在这里先祝贺大家程序员节快乐，在此我也有一个好消息送给大家，本人已开通了微信公众号，我会把资源放在公众号上，还请大家小手动一动，关注过微信公众号，回复1024即可获得python的零基础教学哦。
在这里插入图片描述

前言

我们先进入今天的主题，我们都知道现在python爬虫的手段越来越多，比如通用爬虫，模拟登陆，js逆向，app爬虫，自动化爬虫等。
今天我们就模拟一下我们通用爬虫，爬取360全网图片

首先我们要准备以下库

scrapy 2.4.0 库

我们的目标url=‘https://image.so.com/z?ch=beauty’
下面为两个图片简单分析了一下每个模块请求是不一样的。这个时候我们可以清楚获得第一个分类。

menus = ['beauty', 'copyright', 'wallpaper#/', 'design#/', 'funny', 'news', 'art', 'car', 'photography', 'food',
                 'home', 'pet']

在这里插入图片描述

通过我们的f12可以清楚的看到此网站的是ajax渲染的而且以30为一个分页，我们知道了分页的原理。

在这里插入图片描述

这里要按我的点击，在Preview里会出来我们的json数据。标注的是我们要爬取的内容
在这里插入图片描述

scrapy startproject images

关注