python爬虫requestsget_python-爬虫-requests.get()-响应内容中文乱码

python-爬虫-requests.get()-响应内容中文乱码

由于目标url的headers没有提供charset，那么这串字节流就会用latin-1 转换为 unicode 编码的方式转换成了我们见到的unicode对象。

但是网页的编码方式实际上是utf-8，所以我们实际上需要的是从utf-8转换成unicode编码。 此时这一串字节流就会被错误地解释成unicode编码。

我们如何发现这种情况呢？

其实很简单，我们只要知道reponse的encoding方式是否错误就可以了，查看response对象的编码

resp = requests.get(’http://baidu.com‘) #请求

print '响应:\nencoding={}'.format(resp.encoding) #如果中文乱码，如果requests没有发现http headers中的charset

如何转为 utf-8 输出？

我们可以在调用 txt = resp.text 之前设置 resp 对象的编码。resp.encoding='utf-8'

完整实例

# -*- coding: utf-8 -*-

import sys

import lxml

import requests

import codecs

import time

from lxml import etree,html

import tomd

reload(sys)

sys.setdefaultencoding('utf8') # 设置默认编码格式为'utf-8'

if sys.stdout.encoding != 'UTF-8':

sys.stdout = codecs.getwriter('utf-8')(sys.stdout, 'strict')

if sys.stderr.encoding != 'UTF-8':

sys.stderr = codecs.getwriter('utf-8')(sys.stderr, 'strict')

def http_get(url):

print '请求地址：{}'.format(url)

'''

'''

headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel …) Gecko/20100101 Firefox/58.0'}

resp = requests.get(url,headers=headers) #请求

print '请求完成'

if not resp:

print '无响应内容'

return

print '响应:\nencoding={}'.format(resp.encoding) #如果中文乱码，如果requests没有发现http headers中的charset

resp.encoding='gb2312' #设置响应编码（gbk、utf-8、gb2312）

txt = resp.text #获取响应的html内容

print '原始：\n{}'.format(txt)

print '响应:\nencoding={}'.format(resp.encoding)

http_get('http://baidu.com')