Python_编码

       ASCLL是以前了解得最多的编码系统,使用一个字节表示128个字符,表示数字、字母以及一些符号。但是世界上有很多种语言,每种语言既然能在电脑上表示,就有自己的编码系统,诸如GBK、GB2312等一些编码。但是不同的编码系统之间肯定会发生冲突,相同的编码在不同的系统中表示的符号也不一样,这就出现了有时遇到的乱码。为了解决这个问题,引入了为不同文字统一编码的编码格式——Unicode,因此也被称做万国码。

Unicode

       Unicode 编码系统,可分为编码方式和实现方式两个层次。在编码方式上,有UCS-2和UCS-4两种形式,UCS-2使用两个字节编码,UCS-4使用4个字节编码。Unicode的实现方式称为Unicode字符集转换格式(UCS Transformation Format)缩写为UTF,其中包括UTF-7、UTF-8和UTF-16等。UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符,UTF-8编码与ASCII编码完全相同,UTF-8编码的最大长度是4个字节

       从Unicode到UTF-8的编码方式如下:



BOM

       Byte Order Mark,中文名译作“字节顺序标记”。软件在保存Unicode时会在文件最开始的地方插入不可见的字符,即BOM。这是由于Unicode存储有字节顺序的问题。如“三”这个字符用Unicode表示时为OX4e09,如果存储时4e在前面,称为大端模式(big endian),将09放在前面则称为小端模式(little endian)。因此为了表明字节的顺序,规范中推荐使用BOM,在UCS 编码中有一个叫做 "Zero Width No-Break Space" ,中文译名作“零宽无间断间隔”的字符,它的编码是 FEFF,而 FFFE 在 UCS 中是不存在的字符,因此通过在文件头插入这两个字节,以便判断Unicode的字节顺序。UTF-8是使用字节来编码的,因此一般不需BOM来表明字节顺序,但是可以通过BOM来表明编码方式。UTF-8的"Zero Width No-Break Space"为EF BB BF。因此如果收到以这三个开头的文件,就可以判定是UTF-8编码格式。


Python

编码声明

       Python中默认的编码格式是ASCII编码,因此当使用其他编码格式编辑源码时,应在源文件头加入编码声明。以下是编码声明的几种方式:

1.

# coding=encoding name

2.

# -*- coding: encoding name -*-

编码转换

      在读出文件内容或者处理字符串时,也许会遇到乱码问题,这时就需要对相应的字符串进行解码和编码。这里会用到两个函数decode()和encode()。


s.decode([encoding[,errors]])          #将指定编码格式转换为Unicode
s.encode([encoding[,errors]])          #将Unicode转换为指定编码格式

 

ASCII码表


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值