很多同学对python爬虫翻页感到很是头疼,下面我教给大家一个最简单的办法:模糊搜索法。以这个网站 :https://m.51xw.net/meizi/
为例
打开网站我们先看到的是一个个的图集,点开图集后,里面是图片,一张一页,上面的链接按1,2,3…,有规律的变化,我们只要改变数字就可以了,
具体方法,首先要解析图集页的网址,获得所有图集链接。
然后我们用一个循环,设定循环的范围为1到50页,这个自己定,多少页也没关系,我们要知道,不存在的网页是打不开的,也下载不了的,
最后将图集链接和循环拼接在一起,获得所有图片的链接,这个样子https://m.51xw.net/meizi/1234/4,下载保存即可。
下面给出具体的代码供参考:
import re
import requests
from lxml import etree
response=requests.get("https://m.51xw.net/meizi/")
html=(response.text)
selector=etree.HTML(html)
reg=selector.xpath('//*[@id="listcon"]/ul/li/div/a/@href')
for i in reg:
d=(i+"/")
for k in range(1,50):
z=(d+"%s"%k)
response=requests.get(z)
html=(response.text)
red=re.compile('< img id="bigImg" src="(.*?.jpg)"')
ref=re.findall(red,html)
path=r'D:\2345下载\5\\'
for i in ref:
response=requests.get(i)
name=i.split("/")[-1]
f=open(path+name,"wb")
f.write(response.content)
f.close
print("%s"%name)