Python中的字符编码问题encode/decode

Python中字符的编码问题。
在进行编码转换的时候我们必须清楚,我们读进来的字符串,或者说我们要进行解码的字符串本身是何种编码方式,然后就可以用decode对此字符串进行解码,解码成unicode字符串;然后对于解码之后的unicode字符串利用我们想要的编码格式进行编码。注意:读进来的是正确内容,进行解码然后利用另一种编码之后的内容也可能是乱码。
一般形式就是str1表示我们读入的字符串。Str1.decode(“gbk”).encode(“utf-8”)
不可以对str字符串进行编码,因为它已经是编码后的形式了!!!
不可以对unicode字符串进行解码,因为它已经是使用某种编码解码后的形式了!!!

http://hi.baidu.com/%B8%E3%D0%A6%D0%A6%BB%B0%CD%BC%C6%AC/blog/item/c18cae23127ef25e9822eddb.html
首先,python 中有byte string和unicode string两种不同的类型。因此,python 里面的编码和解码也就是 unicode 和 byte 这两种形式的相互转化:编码是 unicode -> byte,解码就是 byte -> Unicode

http://hi.baidu.com/mxp446533129/blog/item/ab55d625d7e95c12918f9df0.html
str和unicode都是basestring的子类。严格意义上说,str其实是字节串,它是unicode经过编码后的字节组成的序列。unicode才是真正意义上的字符串,对字节串str使用正确的字符编码进行解码后获得。
对unicode进行解码是错误的 
对str进行编码也是错误的 
源代码文件中,如果有用到非ASCII字符,则需要在文件头部进行字符编码的声明。实际上Python只检查#、coding和编码字符串,其他的字符都是为了美观加上的。另外,Python中可用的字符编码有很多,并且还有许多别名,还不区分大小写,比如UTF-8可以写成u8。参见http://docs.python.org/library/codecs.html#standard-encodings。

http://www.u85.us/viewnews-293.html
python的字符串只能说是字节串,你甚至可以在里面存放一张图片或者一个二进制可执行文件

http://www.cnblogs.com/baiyuyang/archive/2011/10/29/2228667.html
我读取到的字符串是gbk的,所以我很自然的用s.decode('gbk').encode('utf-8')来转换。可是今天转换时遇到如下异常:
 UnicodeDecodeError: 'gbk' codec can't decode bytes in position 7-8: illegal multibyte sequence
这 是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中,全角空格往往有多种不同的实现方式,比如\xa3\xa0,或者\xa4\x57,这些 字符,看起来都是全角空格,但它们并不是“合法”的全角空格(真正的全角空格是\xa1\xa1),因此在转码的过程中出现了异常。 这样的问题很让人头疼,因为只要字符串中出现了一个非法字符,整个字符串——有时候,就是整篇文章——就都无法转码。
解决办法: s.decode('gbk', ‘ignore').encode('utf-8′)
因为decode的函数原型是decode([encoding], [errors='strict']),可以用第二个参数控制错误处理的策略,默认的参数就是strict,代表遇到非法字符时抛出异常; 如果设置为ignore,则会忽略非法字符; 如果设置为replace,则会用?取代非法字符; 如果设置为xmlcharrefreplace,则使用XML的字符引用。


http://blog.iamzsx.me/show.html?id=81001
对有中文的文件,都保持为utf-8格式,在文件的开头处都指明编码coding:utf-8,文件中的字符串都统一成Unicode形式。
根据需要使用encode和decode函数进行转换
对文件输入或者其他方式输入的数据,也要使用decode函数相应转换成Unicode,这样会减少编码带来的麻烦。


  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值