Python 编码问题 utf-8 和 unicode

原创 2015年11月21日 19:52:09

前言:utf-8 和 unicode

UTF-8,1个汉字占3个字节,扩展B区以后的汉字占4个字节。
GBK,1个汉字占2个字节。
UTF-16,通常汉字占两个字节。
Unicode,一个英文等于两个字节,一个中文(含繁体)等于两个字节,范围是 \u4e00-\u9fa5。

UTF-8是Unicode的一个实现?

记得java虚拟机存储代码都是用unicode的,不涉及具体编码格式,只有在读入读出边界处会用具体编码格式来处理。

命令行模式下

>>> u'\u597d\u73a9'
u'\u597d\u73a9'
>>> print u'\u597d\u73a9'
好玩

好玩的 unicode 是 \u597d\u73a9

IDE模式下

# -*- coding: UTF-8 -*-
s = "好玩"
print s
print s.decode("utf-8").encode("utf-8")
print unicode(s,"utf-8")

print len(s)
print len(s.decode("utf-8").encode("utf-8"))
print len(unicode(s,"utf-8"))

输出

好玩
好玩
好玩
6
6
2

utf-8每个汉字占3个字节,所以“好玩”输出了6
一个汉字表示为一个unicode,所以这儿的len表示的是有几个unicode,所以输出了2

“好玩”的unicode为\u597d\u73a9

us = u'\u597d\u73a9'
print us
print us.encode("utf-8")

print len(us)
print len(us.encode("utf-8"))

输出

好玩
好玩
2
6

疑惑

us = u'\u597d\u73a9'
print us

这儿会输出汉字好玩

我不知道在IDE里面如何输出u'\u597d\u73a9',在命令行里面倒是可以。

输出的时候会转化为IDE控制台使用的编码格式,所以会输出汉字?

后来找到了解决方法,利用python自带的repr函数

us = u'\u597d\u73a9'
print repr(us)
print repr(us.encode("utf-8"))

输出

u'\u597d\u73a9'
'\xe5\xa5\xbd\xe7\x8e\xa9'

可以看出utf-8表示汉字确实用了3个字节。

版权声明:转载请注明出处 博客地址 http://blog.csdn.net/never_cxb

深入理解Python的字符编码utf-8 & unicode

在Python中有两个和字符很相关的类型,一个是str类型,一个是unicode类型。 这两种类型的对象都是sequece序列,其中str是字节序列,而unicode是字符序列在2.x版本的pyth...
  • warrior_zhang
  • warrior_zhang
  • 2016年01月12日 13:03
  • 4176

python中遇到包含UTF-8编码中文的列表或字典的输出的解决方法

今天,在调试程序时,遇到了一个编码问题,折腾了好久,看到了一篇博客:点击打开链接 才解决了问题,现在摘录如下,以免后续遇到同样的问题再次折腾。 在python 下面一个包含中文字符串的列表(list...
  • lengyuewusheng99
  • lengyuewusheng99
  • 2016年10月11日 10:14
  • 6412

Python 字符编码学习-ascii编码,Unicode和UTF-8之间的关系

ascii编码,Unicode和UTF-8之间的关系1,ascii编码,这是一种单字节编码,8位,一个char的长度。最多可以存放255中不同的字符。对于早期的计算机系统来说,对于应付英文字符和一些符...
  • u012063703
  • u012063703
  • 2016年01月25日 11:48
  • 2579

Python编码UNICODE GBK UTF-8字符集转换的正确姿势

规范 脚本文件编码 由于需要经常性使用到中文字符,因此Python脚本新建后,请在头部添加代码: # coding: utf-8或者为pycharm设置代码模版,这样每次新建Python文件时会自动...
  • asmcvc
  • asmcvc
  • 2017年02月20日 18:36
  • 8297

Python的ASCII, GB2312, Unicode , UTF-8 相互转换

ASCII 是一种字符集,包括大小写的英文字母、数字、控制字符等,它用一个字节表示,范围是 0-127 Unicode分为UTF-8和UTF-16。 UTF-8变长度的,最多 6 个字节,小于 127...
  • wanzhuan2010
  • wanzhuan2010
  • 2014年01月29日 10:00
  • 21400

Python的编码注释# -*- coding:utf-8 -*-

如果要在python2的py文件里面写中文,则必须要添加一行声明文件编码的注释,否则python2会默认使用ASCII编码。 # -*- coding:utf-8 -*- 问题就来了,为什...
  • arbel
  • arbel
  • 2012年09月08日 18:50
  • 187034

python字符串编码及乱码解决方案

http://blog.csdn.net/pipisorry/article/details/44136297字符编码详解[字符编码ASCII,Unicode和UTF-8]皮皮BlogPython源码...
  • pipisorry
  • pipisorry
  • 2015年03月08日 20:26
  • 29677

python2设置系统默认编码为utf-8

http://shirley-ren.iteye.com/blog/1018750 注意:测试了一下这个方法似乎只对python2有效,python3的解决方法还有待研究...
  • yyd19921214
  • yyd19921214
  • 2016年09月20日 15:50
  • 802

设置python的默认编码为utf8

(这部分转自南瓜小米粥的博客): 这是Python的编码问题,设置python的默认编码为utf8 python安装目录:/etc/python2.x/sitecustom...
  • a87b01c14
  • a87b01c14
  • 2015年05月19日 19:51
  • 9386

Python对中文字符的处理(utf-8/ gbk/ unicode)

现在在做分词的时候会处理大量有关中文字符的处理,经常输出乱码,老大让我暂时不考虑字符编码,但是为了看着爽不得不研究一下。 分词系统:NLPIR 因为不同的编译环境默认的汉字编码可能不一样,我的...
  • chixujohnny
  • chixujohnny
  • 2016年06月29日 15:02
  • 25225
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python 编码问题 utf-8 和 unicode
举报原因:
原因补充:

(最多只允许输入30个字)