打开网站,这里我选择的是动漫专区的壁纸,我们的目的是把所有动漫壁纸爬下来,我们发现一共有98页图片
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!??¤
QQ群:623406465
所以我们要做的是观察每页图片链接的关系,我们打开第二页图片观察
发现两页图片的链接分别是
https://www.h128.com/pc/anime/0/2/1920x1080/t/1.html
https://www.h128.com/pc/anime/0/2/1920x1080/t/2.html
我们发现两个网页只有t/后面的数据不同由此我们观察后面几页,最终我们发现/t/后面的数字就是代表页数,所以在最开始我们建立一个函数来存放我们需要的网页链接
如下:
page_links_list = ['https://www.h128.com/pc/anime/0/2/1920x1080/t/1.html']
def GetUrls(page_links_list):
pages = int(input("请输入你想爬取的页数:"))
if pages > 1:
for page in range(2, pages + 1):
url = 'https://www.h128.com/pc/anime/0/2/1920x1080/t/' + str(page) + '.html'
page_links_list.append(url)
else:
page_links_list = page_links_list
然后就是我们多线程的应用了,我们要用的是py