python技巧31[unicode和bytes]

 

一 Python3 中字符串的类型

 

bytearray ([ source[, encoding[, errors]]] )

Return a new array of bytes. The bytearray type is a mutable sequence of integers in the range 0 <= x < 256.

bytes ([ source[, encoding[, errors]]] )

Return a new “bytes” object, which is an immutable sequence of integers in the range 0 <= x < 256. bytes is an immutable version of bytearray.

str ([ object[, encoding[, errors]]] )

Return a string version of an object. str默认为unicode的字符串。

 

 

貌似也没有了2.x中的basestring类型了。

 

二 实例

 

#  -*- coding: gbk -*-

def  TestisStrOrUnicdeOrString():
  bs  =  b ' Hello '
  ustr  =   ' abc '
   print  (isinstance(bs, str))   # False
   print  (isinstance(bs,bytes))  # True
   print  (isinstance(ustr,str))  # True
   print  (isinstance(ustr, bytes))  # False
   print  (isinstance(bs,(bytes,str)))  # True


def  TestChinese():
  us  =   ' 中国 '
  bs  = b' AAA '
  bs2  =  bytes( ' 中国 ' , ' gbk ' )
  
   print  (us  +   ' : '   +  str(type(us)))  # 中国:<class 'str'>
   print  (bs)  #b'AAA'
   print  (bs2)  #  b'\xd6\xd0\xb9\xfa'
   print  ( ' : '   +  str(type(bs2)))  # :<class 'bytes'>
   print  (bs2.decode( ' gbk ' ))  # 中国
  
   #  TypeError: Can't convert 'bytes' object to str implicitly
   # newstr = us + bs2
  
   print  ( ' us == bs2 '   +   ' : '   +  str(us  ==  bs2))  # us == bs2:False
  
  s3  =   ' AAA中国 '
   print  (s3)  #  AAA中国
  
  s4  =  bytes( ' AAA中国 ' , ' gbk ' )
   print  (s4)  #  b'AAA\xd6\xd0\xb9\xfa'
  
def  TestPrint():
   print  ( ' AAA '   +   ' 中国 ' )   #  AAA中国
   # print (b'AAA' + b'中国') #  # SyntaxError: bytes can only contain ASCII literal characters.
   # print ('AAA' + bytes('中国','gbk')) # TypeError: Can't convert 'bytes' object to str implicitly
  
def  TestCodecs():
     import  codecs
    
    look   =  codecs.lookup( " gbk " )

    a  =  bytes( " 北京 " , ' gbk ' )

     print  (len(a), a, type(a))  # 4 b'\xb1\xb1\xbe\xa9' <class 'bytes'>

    b  =  look.decode(a)
     print  (b[ 1 ], b[0], type(b[0]))  # 4 北京 <class 'str'>
    

if   __name__   ==   ' __main__ ' :
    TestisStrOrUnicdeOrString()
    TestChinese()
    TestPrint()
    TestCodecs()

 

 

三 总结

 

1） Python 3会假定我们的源码 — 即.py文件 — 使用的是UTF-8编码方式。Python 2里，.py文件默认的编码方式为ASCII。可以使用# -*- coding: windows-1252 -*-方式来改变文件的编码。如果py文件中包含中文的字符串，则需要制定为# -*- coding: gbk -*-，貌似默认的utf8不够哦。

2） python3中默认的str为unicode的，可以使用str.encode来转为bytes类型。

3） python3的print函数只支持unicode的str，貌似没有对bytes的解码功能，所以对对不能解码的bytes不能正确输出。

4） str和bytes不能连接和比较。

5） codecs任然可以用来str和bytes间的转化。

6） 定义非ascii码的bytes时，必须使用如 bytes('中国','gbk') 来转码。

 

7) 貌似必须在中文系统或者系统安装中文的语言包后gbk解码才能正常工作。

 

python 2.6 的字符及编码转化见 ：http://www.cnblogs.com/itech/archive/2011/03/27/1996883.html

 

 

 

完！