【python爬虫】学习笔记1-爬取某网站妹子图片-CSDN博客

本文链接：https://blog.csdn.net/weixin_42426249/article/details/82343651

本文是作者学习爬虫的初步尝试，详细记录了如何爬取特定网站上的美女图片。首先通过设置opener模拟浏览器行为，然后通过分析URL规律，使用正则表达式提取图片链接。每提取完一页的图片后，通过提取页码进行翻页，直到所有页面的图片都被抓取。在抓取过程中，遇到的urlretrieve卡顿问题，通过添加代码解决。欢迎读者在评论区分享更好的方法。

摘要由CSDN通过智能技术生成

最近刚刚学习爬虫，看了视频之后准备自己写一个爬虫练习，爬妹子图

这次准备爬取的网站是：http://www.umei.cc/p/gaoqing/xiuren_VIP/

接下来先说一下我的思路：

首先我设置了一个opener来模仿浏览器（贫穷限制了我没有设置IP代理）

def use_opener():
    opener = myrequest.build_opener()
    opener.addheaders = [("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")]
    myrequest.install_opener(opener)

经过分析之后我发现每张图片的网址都是后面的数字不同

比如：http://www.umei.cc/p/gaoqing/xiuren_VIP/87013.htm 和 http://www.umei.cc/p/gaoqing/xiuren_VIP/129448.htm

只有 87013和129448是不一样的那么我们通过查看网页源代码很容易就可以写出正则表达式

进入上面的网址之后又发现，每一页只有一张图片，那么我们需要做的是每提取完一张图片后进行翻页再提取，直到最后一页提取完毕再进入下一个后面数字不同的网址提取

#提取网页后面的数字
def extract_digit(url):
    pat = "/(\d*)_*\d*.htm"
    digit_list = re.compile(pat).findall(url)
    print("提取digit成功")
    return digit_list[0]

如何实现翻页呢？

我的思路是这样的：利用正则表达式