【分享】Python – 了解bytes、str与unicode的区别

原创文章，转载请注明：转载自勤奋的小青蛙
链接地址: 【分享】Python – 了解bytes、str与unicode的区别

Python的字符串编码很容易把人搞混，分享一篇文章，用来解释python 2.x 与 3.x的编码。

Python3有两种表示字符序列的类型：bytes和str。前者的实例包含原始的8位值，后者的实例包含Unicode字符。

Python2也有两种表示字符序列的类型，分别叫做str和Unicode。与Python3不同的是，str实例包含原始的8位值；而unicode的实例，则包含Unicode字符。

想了解什么是bytes和Unicode，可以参考这里：Unicode与bytes有何区别？

一般来说，Unicode 只是一个“字符集”，它给每一个处于此字符集中的字符给予了一个编号。比如“我”，是 U+6211。然后 Unicode 本身并不指定这个 U+6211 应该是什么编码什么字节序存储和传输，那么就有了编码的这一概念。常见的比如 UTF-8、UTF-16 (LE)、UTF-16 (BE) 编码等。可能这里还会涉及到使用 BOM 来指定字节序的问题。那么当编码一定，字节序一定的时候，存储结果是肯定要落实到字节（Bytes）上来的。比如“我”字，U+6211，以 UTF-8 编码（过程略），结果就是 E6 88 91 这三个字节。存储、读取或者传输的时候，见到的就是 E6 88 91。可能还会见到 BOM - EF BB BF 在最前面。

把Unicode字符表示为二进制数据（也就是原始8位值）有许多种办法。最常见的编码方式就是UTF-8。但是，Python3的str实例和Python2的unicode实例都没有和特定的二进制编码形式相关联。要想把Unicode字符转换成二进制数据，就必须使用encode方法。要想把二进制数据转换成Unicode字符，则必须使用decode方法。

编写Python程序的时候，一定要把编码和解码操作放在界面最外围来做。程序的核心部分应该使用Unicode字符类型（也就是Python3中的str、Python2中的unicode），而且不要对字符编码做任何假设。这种办法既可以令程序接受多种类型的文本编码（如Latin-1、Shift JIS和Big5），又可以保证输出的文本信息只采用一种编码形式（最好是UTF-8）。

由于字符类型有别，所以Python代码中经常会出现两种常见的使用情境：

开发者需要原始8位值，这些8位值表示以UTF-8格式（或其他编码形式）来编码的字符。

开发者需要操作没有特定编码形式的Unicode字符。

所以，我们需要编写两个辅助（helper）函数，以便在这两种情况之间转换，使得转换后的输入数据能够符合开发者的预期。

 
          #在Python3中，我们需要编写接受str或bytes，并总是返回str的方法： 
         
          def 
          to_str(bytes_or_str): 
         
          if 
          isinstance 
          (bytes_or_str, bytes): 
         
          value  
          = 
          bytes_or_str.decode( 
          'utf-8' 
          ) 
         
          else 
          : 
         
          value  
          = 
          bytes_or_str 
         
          return 
          value  
          # Instance of str 
         
          #另外，还需要编写接受str或bytes，并总是返回bytes的方法： 
         
          def 
          to_bytes(bytes_or_str): 
         
          if 
          isinstance 
          (bytes_or_str,  
          str 
          ): 
         
          value  
          = 
          bytes_or_str.encode('utf 
          - 
          8 
          ) 
         
          else 
          : 
         
          value  
          = 
          bytes_or_str 
         
          return 
          value  
          # Instance of bytes 
         
          #在Python2中，需要编写接受str或unicode，并总是返回unicode的方法： 
         
          #python2 
         
          def 
          to_unicode(unicode_or_str): 
         
          if 
          isinstance 
          (unicode_or_str,  
          str 
          ): 
         
          value  
          = 
          unicode_or_str.decode( 
          'utf-8' 
          ) 
         
          else 
          : 
         
          value  
          = 
          unicode_or_str 
         
          return 
          value  
          # Instance of unicode 
         
          #另外，还需要编写接受str或unicode，并总是返回str的方法： 
         
          #Python2 
         
          def 
          to_str(unicode_or_str): 
         
          if 
          isinstance 
          (unicode_or_str,  
          unicode 
          ): 
         
          value  
          = 
          unicode_or_str.encode( 
          'utf-8' 
          ) 
         
          else 
          : 
         
          value  
          = 
          unicode_or_str 
         
          reutrn vlaue  
          # Instance of str

在Python中使用原始8位值与Unicode字符时，有两个问题需要注意。第一个问题可能会出现在Python2里面。如果str只包含7位ASCII字符，那么unicode和str实例似乎就成了同一种类型。

*可以用+操作符把这种str与unicode连接起来。

*可以用等价于不等价操作符，在这种str实例与unicode实例之间进行比较。

* 在格式字符串中，可以用’%s’等形式来代表unicode实例。

这些行为意味着，在只处理7位ASCII的情境下，如果某函数接受str，那么可以给它传入unicode；如果某函数接受unicode，那么也可以给它传入str。而在Python3中，bytes与str实例则绝对不会等价，即使是空字符串也不行。所以，在传入字符序列时必须留意其类型。

第二个问题可能会出现在Python3里面。如果通过内置的open函数获取了文件句柄，那么请注意，该句柄默认会采用UTF-8编码格式来操作文件。而在Python2中，文件操作的默认编码格式则是二进制形式。这可能会导致程序出现怪的错误，对习惯了Python2的程序员来说更是如此。

例如，现在要向文件中随机写入一些二进制数据。下面这种用法在Python2中可以正常运作，但在Python3中不行。

1

2

3

4

 
          with  
          open 
          ( 
          '/tmp/random.bin' 
          , 
          'w' 
          ) as f: 
         
 
             
          f.write(os.urandom( 
          10 
          )) 
         
 
          >>> 
         
 
          TypeError: must be  
          str 
          ,  
          not 
          bytes 
         

发生上述异常的原因在于，Python3给open函数添加了名为encoding的新参数，而这个新参数的默认值是’utf-8’。这样在文件句柄上进行read和write操作时，系统就要求开发者必须传入包含Unicode字符的str实例，而不接受包含二进制数据的bytes实例。为了解决这个问题，我们必须用二进制写入模式（’wb’）来开启待操作的文件，而不能像原来那样，采用字符写入模式(‘w’)。按照下面这种方式来使用open函数，即可同时适配Python2与Python3：