爬虫实战--爬取1000位小姐姐照片，刷新你三观颜值！

最新推荐文章于 2024-09-23 18:41:35 发布

世上本无鬼

最新推荐文章于 2024-09-23 18:41:35 发布

阅读量963

点赞数 6

分类专栏：爬虫实战文章标签：爬虫 python 经验分享

本文链接：https://blog.csdn.net/weixin_57577264/article/details/120039817

版权

本文分享了一次使用Python爬虫抓取某网站1000位美女照片的过程，详细介绍了如何从主页获取图集链接，再到详情页获取每张图片的高清大图。通过循环遍历页面，成功下载了超过2万个图集中的部分图片，提供了完整的代码示例。

摘要由CSDN通过智能技术生成

爬取的网站链接：http://www.mmonly.cc/mmtp/
在这里插入图片描述

主页网址唯一图库直接点到末页，一共有1274页。
在这里插入图片描述

右键点击一个图片链接，选择审查元素
在这里插入图片描述

这里的img是就封面，如果只抓取封面的话，到这就可以了，但要取的是所有图片，所以这里我们获取的是这个详情页的1链接：http://www.mmonly.cc/mmtp/xgmn/181603.html，这就是第一个图集的链接，然后每页有24个图集。我这只爬取到852页，点击下一页查看下网址变化，http://www.mmonly.cc/mmtp/list_9_2.html，页数变成2，所以我们这里直接循环，然后获取每一页上的图集1链接：

import requests
from lxml import html
for page in range(1,852):
    url='http://www.mmonly.cc/mmtp/list_9_%s.html'%page
    response=requests.get(url,verify=False).text
    selector=html.fromstring(response)
    imgEle=selector.xpath('//div[@class="ABox"]/a')
    for img in imgEle:
        imgUrl=img.xpath('@href')[0]
        print(imgUrl