最近刚刚学习爬虫,看了视频之后准备自己写一个爬虫练习,爬妹子图
这次准备爬取的网站是:http://www.umei.cc/p/gaoqing/xiuren_VIP/
接下来先说一下我的思路:
首先我设置了一个opener来模仿浏览器(贫穷限制了我没有设置IP代理)
def use_opener():
opener = myrequest.build_opener()
opener.addheaders = [("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")]
myrequest.install_opener(opener)
经过分析之后我发现每张图片的网址都是后面的数字不同
比如:http://www.umei.cc/p/gaoqing/xiuren_VIP/87013.htm 和 http://www.umei.cc/p/gaoqing/xiuren_VIP/129448.htm
只有 87013和129448是不一样的 那么我们通过查看网页源代码很容易就可以写出正则表达式
进入上面的网址之后又发现,每一页只有一张图片,那么我们需要做的是每提取完一张图片后进行翻页再提取,直到最后一页提取完毕再进入下一个后面数字不同的网址提取
#提取网页后面的数字
def extract_digit(url):
pat = "/(\d*)_*\d*.htm"
digit_list = re.compile(pat).findall(url)
print("提取digit成功")
return digit_list[0]
如何实现翻页呢?
我的思路是这样的:利用正则表达式