本代码比较简单,只需要简单了解Python的同学就可以完成。
注意:当你运行代码后,文件夹就会越来越多,如果爬完的话会有2000多个文件夹,20000多张图片。不过会很耗时间,可以在最后的代码设置爬取页码范围。
基础
1. 熟悉 Requests 库,Beautiful Soup 库
2. 熟悉多线程爬取
实现思路
看了界面的结构,那么我们的思路就有了。
1. 构造 url 链接,去请求图一所示的套图列表界面,拿到每一个页面中的套图列表。
2. 分别进入每个套图中去,下载相应的图片。
代码说明
1. 下载界面的函数,利用 Requests 很方便实现。
def download_page(url):
'''
用于下载页面
'''
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
r = requests.get(url, headers=headers)
r.encoding = 'gb2312'
return r.text
2. 获取图一所示的所有套图列表,函数中 link 表示套图的链接,text表示套图的名字
def get_pic_list(html):
'''
获取每个页面的套图列表,之后循环