python爬虫怎么改变响应的编码,Python爬虫urlopen编码问题及解决方案

问题描述：

在爬取百度贴吧的内容时候，一次只爬取一页的时候，没有问题，但是使用for i in range 一次爬取多个页面的时候出现以下问题

代码如下，红框内代码报错：

字符拼接没有问题，两次输出就是相同

https://tieba.baidu.com/f?kw=诗词吧&ie=utf-8&pn=200

https://tieba.baidu.com/f?kw=诗词吧&ie=utf-8&pn=200

想到一个问题，当浏览器中的url地址存在中文时候，在网页跳转时候会自动进行给它url转码，进行测试，查看是否是这个原因

修改后代码如下：

from urllib import request, parse, error

base_url = "https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}"

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"

}

def allow(minpage,maxpage, string2):

maxnum = maxpage * 50 + 50 + minpage;

maxnum = maxpage * 50 + minpage;

print(minpage,maxnum)

try:

for i in range(minpage, maxnum, 50):

string1 = base_url.format(parse.quote(string2), i)

url = request.Request(url=string1, headers=headers)

res = request.urlopen(url)

res1 = res.read().decode("utf-8")

with open(string2 + str(i) + ".html", "w", encoding="utf-8") as f:

f.write(res1)

print(string2 + str(i) + ".html")

except error.HTTPError as e:

print(e.code)

except error.URLError as e:

print(e.reason)

else:

print("成功")

string2 = input("请输入贴吧名:")

minpage = int(input("请输入页数开始值:"))

maxpage = int(input("请输入下载页数:"))

print(minpage, maxpage, string2)

allow(minpage, maxpage, string2)

修改代码：

string1 = base_url.format(parse.quote(string2), i)

运行成功，截图如下：

分析：

Url编码

urllib.parse.quote(string) 将字符传进行编码

urllib.parse.unquote(string) 将字符传进行解码