python几种编码转换

1 byte = 8 bits ,所以一个字节表示的最大整数为255(二进制11111111 无符号); 两个字节 最大65535;四个字节 4294967295

ascii 一个字节,编码了127个字符,即26个基本英文字母,阿拉伯数字,英式标点符号。(大写A 65、小写a 97)

unicode 通常是2字节1字符(越少用的字符,编码长度越长,可能4字节),大部分os和语言支持unicode
eg.

字母A用ASCII编码是十进制的65,二进制的01000001;

字符0用ASCII编码是十进制的48,二进制的00110000,注意字符'0'和整数0是不同的;

汉字中已经超出了ASCII编码的范围,用Unicode编码是十进制的20013,二进制的01001110 00101101。

你可以猜测,如果把ASCII编码的A用Unicode编码,只需要在前面补0就可以,因此,A的Unicode编码是00000000 01000001。

但矛盾在于 文本中英文比例大,浪费比较多的空间。unicode比ascii多一倍存储空间,在存储和传输上不划算
所以utf-8应运而生

utf-8
UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间:

字符asciiunicodeutf-8
A0100000100000000 0100000101000001
x01001110 0010110111100100 10111000 10101101

encode()带上对应参数可以进行相应的编码

>>> '你好'.encode('raw_unicode-escape')
b'\\u4f60\\u597d'
>>> '你好'.encode('utf-8')
b'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> '你好'.encode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
>>>

decode(),格式应该为:someByteType.decode()

>>> u'\xe4\xbd\xa0\xe5\xa5\xbd'.encode('utf8')
b'\xc3\xa4\xc2\xbd\xc2\xa0\xc3\xa5\xc2\xa5\xc2\xbd'
>>> print(b'\xc3\xa4\xc2\xbd\xc2\xa0\xc3\xa5\xc2\xa5\xc2\xbd')
b'\xc3\xa4\xc2\xbd\xc2\xa0\xc3\xa5\xc2\xa5\xc2\xbd'
>>> u'\xe4\xbd\xa0\xe5\xa5\xbd'.encode('raw_unicode_escape')
b'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> u'\xe4\xbd\xa0\xe5\xa5\xbd'.encode('raw_unicode_escape').decode('utf8')
'你好'
>>> b'\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
'中文'
>>> '中文'.encode('utf-8')
b'\xe4\xb8\xad\xe6\x96\x87'
>>> b'\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
'中文'
>>>
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值