python爬虫翻页_教给你一个python爬虫最简单的翻页的办法

很多同学对python爬虫翻页感到很是头疼，下面我教给大家一个最简单的办法：模糊搜索法。以这个网站 ：https://m.51xw.net/meizi/

为例

打开网站我们先看到的是一个个的图集，点开图集后，里面是图片，一张一页，上面的链接按1，2，3…，有规律的变化，我们只要改变数字就可以了，

具体方法，首先要解析图集页的网址，获得所有图集链接。

然后我们用一个循环，设定循环的范围为1到50页，这个自己定，多少页也没关系，我们要知道，不存在的网页是打不开的，也下载不了的，

最后将图集链接和循环拼接在一起，获得所有图片的链接，这个样子https://m.51xw.net/meizi/1234/4，下载保存即可。

下面给出具体的代码供参考:

import re

import requests

from lxml import etree

response=requests.get("https://m.51xw.net/meizi/")

html=(response.text)

selector=etree.HTML(html)

reg=selector.xpath('//*[@id="listcon"]/ul/li/div/a/@href')

for i in reg:

d=(i+"/")

for k in range(1,50):

z=(d+"%s"%k)

response=requests.get(z)

html=(response.text)

red=re.compile('< img id="bigImg" src="(.*?.jpg)"')

ref=re.findall(red,html)

path=r'D:\2345下载\5\\'

for i in ref:

response=requests.get(i)

name=i.split("/")[-1]

f=open(path+name,"wb")

f.write(response.content)

f.close

print("%s"%name)