字符编码

参考文章：廖雪峰字符串和编码

# 注意：在打印二进制表示时前面的0都会去掉
# 编码问题  ,b表示bytes(最前面的0去掉)，\x表示16进制
# UTF-8是这样做的：
# 1. 单字节的字符，字节的第一位设为0，对于ascii字符，UTF-8码只占用一个字节，和ASCII码完全相同；
#
# 2. n个字节的字符(n>1)，第一个字节的前n位设为1，第n+1位设为0，后面字节的前两位都设为10，这n个字节的其余空位填充该字符unicode码，高位用0补足。
# 这里有一个很大的问题,bin只是将数字转为二进制，unicode是2字节，内存中是unicode保存，
# ord是返回字符在unicode的位置，比如空格" "的位置是32，bin(32)就是0b100000,这样就省略了10个0，但是在打印时最前面的0会全部去掉
# 网络传输，读文件是以bytes流传输
# gbk和gb2312是两个字节
# 具体例子如下：

 1 a = " "
 2 print(bin(ord(a.encode())))       # 0b100000     # 最前面的10个0去掉
 3 print(bin(ord(a)))                # 0b100000
 4 print(ord(a))                     # 32
 5 a = "~"
 6 print(bin(ord(a.encode())))       # 0b1111110    # 最前面的9个0去掉
 7 print(bin(ord(a)))
 8 print(ord(a))                     # 126
 9 
10 a = "ab"
11 print(a.encode())       # b'ab'   # bytes
12 a = str("ab")
13 print(a.encode())       # b'ab'   # bytes     其二进制表示可以查ascii表
14 a = "我"
15 print(a.encode())       # b'\xe6\x88\x91'
16 print(ord(a))           # 25105         # """ Return the Unicode code point for a one-character string. """
17 print(bin(ord(a)))      # 0b 1100010 00010001
18 print(bin(25105))       # 0b 1100010 00010001     # 返回的应该是unicode编码  ，最前面的一个0去掉了0b 01100010 00010001
19 for i in a.encode():
20     print(i)            # 230            136            145
21     print(bin(i))       # 0b11100110     0b10001000     0b10010001    则unicode编码为 0110 001000 010001
22 
23 a = "我"
24 print(a.encode(encoding='gbk'))     # b'\xce\xd2'
25 
31 
32 print("我".encode("gbk"))        # b'\xce\xd2'
33 for i in "我".encode(encoding='gbk'):
34     print(i)                    # 206               210
35     print(bin(i))               # 0b11001110        0b11010010
36 
37 print("######")
38 print("我".encode("gb2312"))  # b'\xce\xd2'
39 for i in "我".encode("gb2312"):
40     print(i)                    # 206               210
41     print(bin(i))               # 0b11001110        0b11010010
42 
43 print("#############")
44 # print(str("我".encode().decode()))

 

转载于:https://www.cnblogs.com/owasp/p/5436333.html