万恶之源-再谈编码

万恶之源-再谈编码 本节主要内容:

1. ⼩小数据池
2. is和==的区别 3. 编码的问题
   ⼀一. ⼩小数据池
   在说⼩小数据池之前. 我们先看⼀一个概念念. 什什么是代码块:
   根据提示我们从官⽅方⽂文档找到了了这样的说法:
   A Python program is constructed from code blocks. A block is a piece of Python program text that is executed as a unit. The following are blocks: a module, a function body, and a class definition. Each command typed interactively is a block. A script file (a file given as standard input to the interpreter or specified as a command line argument to the interpreter) is a code block. A script command (a command specified on the interpreter command line with the ‘-c‘ option) is a code block. The string argument passed to the built-in functions eval() and exec() is a code block.
   A code block is executed in an execution frame. A frame contains some administrative information (used for debugging) and determines where and how execution continues after the code block’s execution has completed.
   粗略的翻译:
   python程序是由代码块构成的. 一个代码块的⽂本作为python程序执行的单元.
   代码块: 一个模块, 一个函数, ⼀个类, 甚至每一个command命令都是⼀一个代码块. ⼀一个⽂文件也是⼀一 个代码块, eval()和exec()执⾏行行的时候也是⼀一个代码块
   什么是命令行?
   我们在控制台CMD中输入python进入的就是python的command模式. 在这⾥里里也可以写 python的程序.
   ⽽而根据上⾯面的官⽅方的解释来看. ⼀一个command命令就是⼀一个python代码块

二. 接下来我们来看⼀一下⼩小数据池 is和==的区别 1. id()
通过id()我们可以查看到⼀一个变量量表⽰示的值在内存中的地址.

1. is和==
   == 判断左右两端的值是否相等. 是不是⼀一致.
   is 判断左右两端内容的内存地址是否⼀一致. 如果返回True, 那可以确定这两个变量量使 ⽤用的是同⼀一个对象
   s = 'alex'
   print(id(s)) # 4326667072
   我们可以这样认为. 如果内存地址相同. 那么值⼀一定是相等的. 如果值相等. 则不⼀一定是同⼀一 个对象
   ⼩小数据池. ⼀一种数据缓存机制. 也被称为驻留留机制. 各⼤大编程语⾔言中都有类似的东⻄西. 在⽹网上 搜索常量量池,⼩小数据池指的都是同⼀一个内容.
   ⼩小数据池只针对: . 其他的数据类型不存在驻留留机制
   整数, 字符串串, 布尔值
   对于整数，Python官⽅方⽂文档中这么说:
   The current implementation keeps an array of integer objects for all integers between -5 and 256, when you create an int in that range you actually just get back a reference to the existing object. So it should be possible to change the value of 1. I suspect the behaviour of Python in this case is undefined.

对于字符串串:
Incomputer science, string interning is a method of storing only onecopy of each distinct string value, which must be immutable. Interning strings makes some stringprocessing tasks more time- or space-efficient at the cost of requiring moretime when the string is created or interned. The distinct
values are stored ina string intern pool. –引⾃自维基百科
在python中对-5到256之间的整数会被驻留留在内存中. 将⼀一定规则的字符串串缓存. 在使⽤用 的时候, 内存中只会创建⼀一个该数据的对象. 保存在⼩小数据池中. 当使⽤用的时候直接从⼩小数据 池中获取对象的内存引⽤用. ⽽而不需要创建⼀一个新的数据. 这样会节省更更多的内存区域.
优点: 能够提⾼高⼀一些字符串串, 整数的处理理速度. 省略略的创建对象的过程. 缺点: 在'池'中创建或者插入新的内容会花费更更多的时间.
对于数字: -5~256是会被加到⼩小数据池中的. 每次使⽤用都是同⼀一个对象. 对于字符串串:

1. 如果字符串串的⻓长度是0或者1,都会默认进⾏行行缓存
2. 字符串串⻓长度⼤大于1,但是字符串串中只包含字⺟母,数字,下划线时才会缓存
3. ⽤用乘法的到的字符串串.1.乘数为1,仅包含数字,字⺟母,下划线时会被缓存.如果
   包含其他字符, ⽽而⻓长度<=1 也会被驻存, 2. 乘数⼤大于1 . 仅包含数字, 字⺟母, 下划
   线这个时候会被缓存. 但字符串串⻓长度不能⼤大于20
4. 指定驻留留.我们可以通过sys模块中的intern()函数来指定要驻留留的内容.
   OK. 到⽬目前为⽌止. 我们已经了了解了了python的⼩小数据池的⼀一些基本情况了了. 但是!!!! 还有最后⼀一 个问题. ⼩小数据池和最开始的代码块有什什么关系呢? 同样的⼀一段代码在命令⾏行行窗⼝口和在py⽂文件中. 出现的效果是完全不⼀一样的.
   在代码块内的缓存机制是不⼀一样的. 在执⾏行行同⼀一个代码块的初始化对象的命令时, 会检 查是否其值是否已经存在, 如果存在, 会将其重⽤用. 换句句话说: 执⾏行行同⼀一个代码块时, 遇到初始 化对象的命令时，他会将初始化的这个变量量与值存储在⼀一个字典中, 在遇到新的变量量时, 会先 在字典中查询记录, 如果有同样的记录那么它会重复使⽤用这个字典中的之前的这个值. 所以在 你给出的例例⼦子中, ⽂文件执⾏行行时(同⼀一个代码块) 会把a, b两个变量量指向同⼀一个对象.
   如果是不同的代码块, 他就会看这个两个变量量是否是满⾜足⼩小数据池的数据, 如果是满⾜足 ⼩小数据池的数据则会指向同⼀一个地址. 所以: a, b的赋值语句句分别被当作两个代码块执⾏行行, 但 是他们不满⾜足⼩小数据池的数据所以会得到两个不同的对象, 因⽽而is判断返回False.
   a = 1000
   b = 1000
   print(a is b)
   注意. 在py⽂文件中.得到的结果是True, 但是在command中就不不是了了.

三. 编码的补充

1. python2中默认使⽤用的是ASCII码. 所以不⽀支持中⽂文. 如果需要在Python2中更更改编码.
   需要在⽂文件的开始编写: # -- encoding:utf-8 --
2. python3中:内存中使⽤用的是unicode码. 编码回顾:
3. ASCII : 最早的编码. ⾥里里⾯面有英⽂文⼤大写字⺟母, ⼩小写字⺟母, 数字, ⼀一些特殊字符. 没有中⽂文, 8个01代码, 8个bit, 1个byte
4. GBK: 中⽂文国标码, ⾥里里⾯面包含了了ASCII编码和中⽂文常⽤用编码. 16个bit, 2个byte
5. UNICODE: 万国码, ⾥里里⾯面包含了了全世界所有国家⽂文字的编码. 32个bit, 4个byte, 包含了了 ASCII
6. UTF-8: 可变⻓长度的万国码. 是unicode的⼀一种实现. 最⼩小字符占8位
   1.英⽂文: 8bit 1byte 2.欧洲⽂文字:16bit 2byte 3.中⽂文:24bit 3byte
   综上, 除了了ASCII码以外, 其他信息不能直接转换.
   在python3的内存中. 在程序运⾏行行阶段. 使⽤用的是unicode编码. 因为unicode是万国码. 什什么内 容都可以进⾏行行显⽰示. 那么在数据传输和存储的时候由于unicode比较浪费空间和资源. 需要把 unicode转存成UTF-8或者GBK进⾏行行存储. 怎么转换呢. 在python中可以把⽂文字信息进⾏行行编码. 编码之后的内容就可以进⾏行行传输了了. 编码之后的数据是bytes类型的数据.其实啊. 还是原来的 数据只是经过编码之后表现形式发⽣生了了改变⽽而已.
   bytes的表现形式:
7. 英⽂文 b'alex' 英⽂文的表现形式和字符串串没什什么两样
8. 中⽂文 b'\xe4\xb8\xad' 这是⼀一个汉字的UTF-8的bytes表现形式 字符串串在传输时转化成bytes=> encode(字符集)来完成
   s = "alex"
   print(s.encode("utf-8")) # 将字符串串编码成UTF-8 print(s.encode("GBK")) # 将字符串串编码成GBK
   结果:
   b'alex'

b'alex'
s = "中"
print(s.encode("UTF-8")) # 中⽂文编码成UTF-8 print(s.encode("GBK")) # 中⽂文编码成GBK
结果: b'\xe4\xb8\xad' b'\xd6\xd0'
记住: 英⽂文编码之后的结果和源字符串串⼀一致. 中⽂文编码之后的结果根据编码的不同. 编码结果 也不同. 我们能看到. ⼀一个中⽂文的UTF-8编码是3个字节. ⼀一个GBK的中⽂文编码是2个字节. 编码之后的类型就是bytes类型. 在⽹网络传输和存储的时候我们python是保存和存储的bytes 类型. 那么在对⽅方接收的时候. 也是接收的bytes类型的数据. 我们可以使⽤用decode()来进⾏行行解 码操作. 把bytes类型的数据还原回我们熟悉的字符串串:
编码和解码的时候都需要制定编码格式.
s = "我叫李李嘉诚"
print(s.encode("utf-8")) # b'\xe6\x88\x91\xe5\x8f\xab\xe6\x9d\x8e\xe5\x98\x89\xe8\xaf\x9a'
print(b'\xe6\x88\x91\xe5\x8f\xab\xe6\x9d\x8e\xe5\x98\x89\xe8\xaf\x9a'.decod e("utf-8")) # 解码
s = "我是⽂文字"
bs = s.encode("GBK") # 我们这样可以获取到GBK的⽂文字 # 把GBK转换成UTF-8

⾸首先要把GBK转换成unicode. 也就是需要解码

s = bs.decode("GBK") # 解码

然后需要进⾏行行重新编码成UTF-8

bss = s.encode("UTF-8") # 重新编码
print(bss)

转载于:https://www.cnblogs.com/yet-320/p/10997098.html