【python爬虫】学习笔记1-爬取某网站妹子图片

最近刚刚学习爬虫，看了视频之后准备自己写一个爬虫练习，爬妹子图

这次准备爬取的网站是：http://www.umei.cc/p/gaoqing/xiuren_VIP/

接下来先说一下我的思路：

首先我设置了一个opener来模仿浏览器（贫穷限制了我没有设置IP代理）

def use_opener():
    opener = myrequest.build_opener()
    opener.addheaders = [("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")]
    myrequest.install_opener(opener)

经过分析之后我发现每张图片的网址都是后面的数字不同

比如：http://www.umei.cc/p/gaoqing/xiuren_VIP/87013.htm  和  http://www.umei.cc/p/gaoqing/xiuren_VIP/129448.htm

只有 87013和129448是不一样的  那么我们通过查看网页源代码很容易就可以写出正则表达式

进入上面的网址之后又发现，每一页只有一张图片，那么我们需要做的是每提取完一张图片后进行翻页再提取，直到最后一页提取完毕再进入下一个后面数字不同的网址提取

#提取网页后面的数字
def extract_digit(url):
    pat = "/(\d*)_*\d*.htm"
    digit_list = re.compile(pat).findall(url)
    print("提取digit成功")
    return digit_list[0]

如何实现翻页呢？

我的思路是这样的：利用正则表达式