html 被识别为gb2312,python utf-8编码被识别为gb2312求解决方法

最新推荐文章于 2021-07-17 16:49:23 发布

垃圾箱博物馆

最新推荐文章于 2021-07-17 16:49:23 发布

阅读量245

点赞数

文章标签： html 被识别为gb2312

# coding=utf-8

import chardet

a='潜'

b='水'

c='潜水'

print [a]

print chardet.detect(a)

print [b]

print chardet.detect(b)

print [c]

print chardet.detect(c)

运行的结果：

['\xe6\xbd\x9c']

{'confidence': 0.505, 'encoding': 'utf-8'}

['\xe6\xb0\xb4']

{'confidence': 0.505, 'encoding': 'utf-8'}

['\xe6\xbd\x9c\xe6\xb0\xb4']

{'confidence': 0.99, 'encoding': 'GB2312'}

utf-8编码的两个字放在一起就被当成了gb2312格式。

我找了很久python编码的问题，但是还是找不到解决方案。

希望有朋友能解答。

补充，我是在ubuntu中测试的。

在mac下测试是正常的。

用的是 python2.7.6

locale:

LANG=zh_CN.UTF-8

LANGUAGE=zh_CN:zh

LC_CTYPE="zh_CN.UTF-8"

LC_NUMERIC="zh_CN.UTF-8"

LC_TIME="zh_CN.UTF-8"

LC_COLLATE="zh_CN.UTF-8"

LC_MONETARY="zh_CN.UTF-8"

LC_MESSAGES="zh_CN.UTF-8"

LC_PAPER="zh_CN.UTF-8"

LC_NAME="zh_CN.UTF-8"

LC_ADDRESS="zh_CN.UTF-8"

LC_TELEPHONE="zh_CN.UTF-8"

LC_MEASUREMENT="zh_CN.UTF-8"

LC_IDENTIFICATION="zh_CN.UTF-8"

LC_ALL=

为什么不使用unicode?# coding=utf-8

a = u'潜'

b = u'水'

c = u'潜水'

同样的代码，不一样的结果，环境mac os 10.10>>> a='潜'

>>> b='水'

>>> c='潜水'

>>> import chardet

>>> print [a]

['\xe6\xbd\x9c']

>>> print chardet.detect(a)

{'confidence': 0.73, 'encoding': 'windows-1252'}

>>> print [b]

['\xe6\xb0\xb4']

>>> print chardet.detect(b)

{'confidence': 0.73, 'encoding': 'windows-1252'}

>>> print [c]

['\xe6\xbd\x9c\xe6\xb0\xb4']

>>> print chardet.detect(c)

{'confidence': 0.7525, 'encoding': 'utf-8'}

只能说，这货跟系统还有关

现在是科普时间。(fault 需要科普的太多了，大部分问题根本不是不会，而是基础不行)

首先你得先搞清楚什么是编码。

对于计算机来说，它认识的就是01，称为 1bit，然后我们一般将 8bit 称为 1byte。那么这 1byte 能表示多少个字符呢？ 2^8 = 256 种。那么问题来了，对于中文来说，上万个字，怎么表示得完啊。

于是，就有了用多个 bytes 表示一个字的方法，这个表示方法就叫做编码。

而编码有各种不同的标准，比如 gb2312 比如 gb18030 比如 utf8。当你看到一个二进制串的时候，你的告诉我，它是什么编码的，别人才能理解。所以单独给出一个二进制串，它是什么编码的，是没有办法知道的，只能猜。

因为很重要，再说一遍，一个二进制串是什么编码的，只能猜，通过组合多个 bytes 看他是否在某个编码下合法，组合出来的字是否常见，猜！所以对于短文本，这是很不准的。甚至有一个二进制传，同时在 utf8 和 gb2312 下都是合法，合理的文字。

所以，回到你这个问题，一般来说 gb2312 是 2bytes 的，而且几乎所有的 2bytes 都能转换成 gb2312，所以，当它是一个字的时候，chardet 不会猜它是 gb2312，但是两个字的时候就有可能会。

什么是 unicode

这一堆编码有两个问题：

为了解决这两个问题，unicode 出现了，unicode 设计能够在编码空间内(不准确)，容纳所有语言的所有字符。并且它是定长的(不准确)。所以，在 Python 中，我们提倡所有文字都使用 unicode。

但是，回到计算机体系中，计算机只认识 01，你是不能将一个 unicode 传递给别的系统的(不准确)。他们之间的传递，必须是二进制串。在这时，你必须将 unicode encode 为一个特定编码，而且这个编码是和对方系统约定好的。不然就会出现乱码，或者异常。这个过程发生在，例如：

等等。

因为很重要再说一遍，你必须和对方系统约定正确的编码。二进制串不指定编码，别人是无法理解的。

编码自动检测没有万全之策，'\xe6\xbd\x9c\xe6\xb0\xb4' 可能在UTF-8和GB231编码方式下都能正确解析。

其实系统的当前locale设置应该是没有关系的。charset detecting 就是要在不知道目标文本的编码情况下，根据文本中的特征猜测字符集编码。所以原理上是不存在100%正确率的。

如果你为了保险，应该设上环境变量LC_ALL。LANG和LANGUAGE的影响都没有LC_ALL大。至于不同平台的结果不同，我们可以猜测为算法可能使用了平台相关的locale数据库一类的信息，或者是python的某些函数在不同平台上有差异。

玩蛇网文章，转载请注明出处和文章网址：https://www.iplaypy.com/wenda/wd19145.html