目标网址为Top Wallpapers - wallhaven.cc
F12检查网页元素,点击网络(Network),刷新页面,之后找到Name的第一个toplist?page=,点击标头(Headers),找到user-agent。
headers如下:
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
}
开始运行爬虫程序,保存壁纸(保存的壁纸在当前文件夹):