requests乱码问题_ufffd 是什么编码-CSDN博客

本文链接：https://blog.csdn.net/wxc20062006/article/details/104836515

本文探讨了在使用Python爬虫解析网页时遇到的UnicodeEncodeError问题，详细解释了错误产生的原因，即从非Unicode编码格式转换到Unicode时，某些字符无法正确转换，导致解析结果中出现乱码字符。文章提供了代码示例，展示了如何通过正确设置响应内容的编码来避免此类错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误信息：

在使用requests解析网站时，在输出结果时，出现如下报错信息，导致有一部分解析出来的结果未输出成功

UnicodeEncodeError: 'gbk' codec can't encode character '\u30fb' in position 41: illegal multibyte sequence

默认编码是GBK，字符\ufffd不能编码为GBK。

查阅Unicode编码表或者使用Python自带的集成开发环境IDLE（可以输出），可知\ufffd其实是�字符。

Python3的字符串以Unicode编码，也就是解析网页时，需要将字符串从网页原来的编码格式转化为Unicode编码格式。
出现�字符的原因：从某编码向Unicode编码转化时，如果没有对应的字符，得到的将是Unicode的代码\ufffd，也就是�字符。
在写爬虫解析网页时出现�字符，往往是因为没有注意原网页的编码格式，全按照默认编码UTF-8转化，导致有的字符转化失败。

def get_one_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    #response.encoding = 'gbk'
    # response.encoding = 'gb2312' 仍然会报错
    print (response.status_code)
    #print (response.content)
    if response.status_code == 200:
        return response.text
    return None