python获取网页内容的相关编码问题

最新推荐文章于 2023-03-27 08:47:12 发布

weixin_34406796

最新推荐文章于 2023-03-27 08:47:12 发布

阅读量1k

点赞数

文章标签：数据库 python

原文链接：https://my.oschina.net/u/1188877/blog/535558

版权

2019独角兽企业重金招聘Python工程师标准>>>

当网页编码不规范无法获取正确编码格式的时候可能会出现问题的一些解决方法:

1.常规习惯性的添加

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

2.页面编码不是UTF-8冲突的时候处理

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 215: ordinal not in range(128)

# 第三方的模块
import chardet
import requests

url = 'http://my.oschina.net/u/1188877/blog'
req = requests.get(url, timeout=5, verify=False, allow_redirects=True)
# detect()返回 --> {'confidence': 1.0, 'encoding': 'ascii'} --> 前面是准确率，后面是编码格式
codes = charder.detect(url)[1]
page_content = req.content.decode(codes, 'ignore').encode('utf-8')

3.可能存在部分网站没GZIP压缩的情况下，造成requests自动解压处理的时候异常问题

ContentDecodingError: ('Received response with content-encoding: gzip, but failed to decode it.', error('Error -3 while decompressing: incorrect header check',))

import requests

req = requests.get(url, headers={'Accept-Encoding': ''})

4.单独使用上面几种处理方法的时候可能会出现单个比较特殊的错误，所以最好的处理方法是整合上面的所有方案

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
# 第三方的模块
import chardet
import requests

url = 'http://my.oschina.net/u/1188877/blog'
req = requests.get(url, headers={'Accept-Encoding': ''}, timeout=5, verify=False, allow_redirects=True)
codes = charder.detect(url)[1]
page_content = req.content.decode(codes, 'ignore').encode('utf-8')

5. django提交的POST数据写入含中文编码错误

# 2016-01-18更新
# 网页ajax post的数据为ASCII编码的，遇中文处理会报错
# 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)

# 最简单的方法，代码最开头加上如下代码
from __future__ import unicode_literal

6. END

en,暂时就遇到了这些个问题，后续有相关问题再说。

7. 简单数据库MySQLdb中文乱码小问题

# 报错如下
_mysql_exceptions.OperationalError: (2019, "Can't initialize character set utf-8 (path: /usr/share/mysql/charsets/)")

 # python
 conn = MySQLdb.connect(host, user, passwd, dbname, port, charset="utf-8")

 # 粗心问题，查看/usr/share/mysql/charsets/Index.xml文件会发现并没有utf-8的编码，只有utf8
 conn = MySQLdb.connect(host, user, passwd, dbname, port, charset="utf-8")
 # 数据库设置成utf-8，python文件设置成utf-8，页面文件设置成utf-8，over，一般不会乱码

转载于:https://my.oschina.net/u/1188877/blog/535558