Python 编码问题 utf-8 和 unicode

前言:utf-8 和 unicode

UTF-8,1个汉字占3个字节,扩展B区以后的汉字占4个字节。
GBK,1个汉字占2个字节。
UTF-16,通常汉字占两个字节。
Unicode,一个英文等于两个字节,一个中文(含繁体)等于两个字节,范围是 \u4e00-\u9fa5。

UTF-8是Unicode的一个实现?

记得java虚拟机存储代码都是用unicode的,不涉及具体编码格式,只有在读入读出边界处会用具体编码格式来处理。

命令行模式下

>>> u'\u597d\u73a9'
u'\u597d\u73a9'
>>> print u'\u597d\u73a9'
好玩

好玩的 unicode 是 \u597d\u73a9

IDE模式下

# -*- coding: UTF-8 -*-
s = "好玩"
print s
print s.decode("utf-8").encode("utf-8")
print unicode(s,"utf-8")

print len(s)
print len(s.decode("utf-8").encode("utf-8"))
print len(unicode(s,"utf-8"))

输出

好玩
好玩
好玩
6
6
2

utf-8每个汉字占3个字节,所以“好玩”输出了6
一个汉字表示为一个unicode,所以这儿的len表示的是有几个unicode,所以输出了2

“好玩”的unicode为\u597d\u73a9

us = u'\u597d\u73a9'
print us
print us.encode("utf-8")

print len(us)
print len(us.encode("utf-8"))

输出

好玩
好玩
2
6

疑惑

us = u'\u597d\u73a9'
print us

这儿会输出汉字好玩

我不知道在IDE里面如何输出u'\u597d\u73a9',在命令行里面倒是可以。

输出的时候会转化为IDE控制台使用的编码格式,所以会输出汉字?

后来找到了解决方法,利用python自带的repr函数

us = u'\u597d\u73a9'
print repr(us)
print repr(us.encode("utf-8"))

输出

u'\u597d\u73a9'
'\xe5\xa5\xbd\xe7\x8e\xa9'

可以看出utf-8表示汉字确实用了3个字节。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值