requests乱码问题

错误信息：

 

在使用requests解析网站时，在输出结果时，出现如下报错信息，导致有一部分解析出来的结果未输出成功

UnicodeEncodeError: 'gbk' codec can't encode character '\u30fb' in position 41: illegal multibyte sequence

 

默认编码是GBK，字符\ufffd不能编码为GBK。

查阅Unicode编码表或者使用Python自带的集成开发环境IDLE（可以输出），可知\ufffd其实是�字符。

Python3的字符串以Unicode编码，也就是解析网页时，需要将字符串从网页原来的编码格式转化为Unicode编码格式。
出现�字符的原因：从某编码向Unicode编码转化时，如果没有对应的字符，得到的将是Unicode的代码\ufffd，也就是�字符。
在写爬虫解析网页时出现�字符，往往是因为没有注意原网页的编码格式，全按照默认编码UTF-8转化，导致有的字符转化失败。
 

def get_one_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    #response.encoding = 'gbk'
    # response.encoding = 'gb2312' 仍然会报错
    print (response.status_code)
    #print (response.content)
    if response.status_code == 200:
        return response.text
    return None