Url 的编码只能采用 ASCII 字符,不可使用 ASCII 以外的其他字符,如中文,不然的话,可能会应为客户端或者服务器端支持的编码不相同而造成问题。
URL 对中文编码的方式是:得到中文的 UTF-8 编码的字符集,如 0xE4 0xB8 0xAD 0xE6 0x96 0x87
,然后把 0x
用 %
替换就好了。
对于某一些网站,他们对中文的URL编码是是跟随网页的编码的,比如他们网页的编码是 GBK 或者 GB2312,并不是常规的使用 UTF-8 编码,比如这个网站 https://www.52z.com/ 的搜索,这个时候我们只需要用 chardet
库 先判断一下响应体的编码,然后对需要请求的参数编码的时候使用对应编码即可
import requests
import chardet
class RqCompoent():
@staticmethod
def get(url, *args, **kwargs):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"}
# 扩展请求头
headers = {**headers, **kwargs}
response = requests.get(url, headers=headers)
if response.status_code == 200:
response = response.content
charset = chardet.detect(response).get('encoding')
response = response.decode(charset, "ignore")
return response, charset # 返回一下编码
else:
print("请求失败")
return None
对URL进行编码的话,可以使用urllib.parse.quote
可以对字符串进行 URL 编码,本质上是调用了底层的 str.decode()
,所以你直接用 '参数'.decode('编码')
也是可以的
稍微记录一下,如果没了解过URL编码这块的知识,可能遇到这样的网站不知道怎么办。