Python大显身手：轻松爬取百万张超清壁纸

安装：

pip install mechanicalsoup wget

完整实例：

#By Python_Fucker On 25/03/2024
from mechanicalsoup import StatefulBrowser
import re
import wget 
import os
 
def validateTitle(title):
    rstr = r"[\/\\\:\*\?\"\<\>\|]"  # '/ \ : * ? " < > |'
    new_title = re.sub(rstr, "_", title)  # 替换为下划线
    return new_title
def fuck_image(num):
 for i in range(1,num):#最多可以设置838页
  print(f"正在爬取第{i}页....")
  pram=""
  if i>1:
   pram=f"index_{i}.htm"
  browser = StatefulBrowser()
  if not os.path.exists("图片/"):
   os.mkdir("图片/")
  browser.open("http://www.netbian.com/1920x1080/"+pram)
  page = browser.get_current_page()
  links_info = [(a.attrs.get('href'), a.attrs.get('title')) for a in page.select('li a') if 'href' in a.attrs and 'title' in a.attrs]
  relevant_links = [(link, title) for link, title in links_info if '/desk/' in link]
  image_ids = [int(re.findall(r'\d+', link)[0]) for link, _ in relevant_links]
  for id, title in zip(image_ids, [title for _, title in relevant_links]):
     print(f"图片: {title}",f"\n下载链接：http://www.netbian.com/down.php?type=1&id={id}\n***\n")
     wget.download("http://www.netbian.com/down.php?type=1&id="+str(id),f"图片/{validateTitle(title)}.jpg")#下载

if __name__ == '__main__':
#开始下载
 fuck_image(10)#设置下载页数,最高838

输出：

 帽子 兽耳 动漫壁纸 更新时间：2024-03-10
下载链接：http://www.netbian.com/down.php?type=1&id=33336
***

100% [..........................................................................] 1427129 / 1427129图片: 森林里的早晨 太阳 春天风景壁纸 更新时间：2024-03-09
下载链接：http://www.netbian.com/down.php?type=1&id=33335
***

100% [..........................................................................] 2088366 / 2088366图片: 崩坏星穹铁道 流萤 彩虹 桌面壁纸 更新时间：2024-03-09
下载链接：http://www.netbian.com/down.php?type=1&id=33334
***

100% [..........................................................................] 1267329 / 1267329图片: 王者荣耀 朵莉亚破晓壁纸 更新时间：2024-03-09
下载链接：http://www.netbian.com/down.php?type=1&id=33333
***

100% [..........................................................................] 1502391 / 1502391图片: ins金克丝壁纸  更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33329
***

100% [............................................................................] 884812 / 884812图片: 可爱粉色长发女 孩 蓝色眼睛 动漫高清壁纸 更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33328
***

100% [..........................................................................] 1022907 / 1022907图片: 赵露思 健身美女桌面壁纸 更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33332
***

100% [............................................................................] 905004 / 905004图片: 健身美女赵露思 壁纸 更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33330
***

100% [............................................................................] 612394 / 612394图片: 健身美女赵露思 高清电脑壁纸 更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33331
***

100% [............................................................................] 717735 / 717735图片: 日落金山壁纸高 清 更新时间：2024-03-06
下载链接：http://www.netbian.com/down.php?type=1&id=33303
***

100% [..........................................................................] 1551531 / 1551531