手机开发实战44——手机字符编码介绍2

原创 2016年05月30日 22:05:45

编码

UTF-8

采用变长字节 (1 ASCII, 2 希腊字母, 3 汉字, 4 平面符号表示。在网络传输时即使错了一个字节,不影响其他字节,而双字节只要一个错了,其他也错了,具体如下: 
    
如果只有一个字节则其最高二进制位为0;如果是多字节,其第一个字节从最高位开始,连续的二进制位值为1的个数决定了其编码的字节数,其余各字节均以10开头。UTF-8最多可用到6个字节。 
UTF-16

采用2字节,Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。

 0×00000×007FASCII字符,

0×00800×00FFISO-8859-1ASCII的扩展。

希腊字母表使用从0×0370 0×03FF 的代码,

斯拉夫语使用从0×04000×04FF的代码,

美国使用从0×05300×058F的代码,

希伯来语使用从0×05900×05FF的代码。

中国、日本和韩国的象形文字(总称为CJK)占用了从0×30000×9FFF的代码;由于0×00c语言及操作系统文件名等中有特殊意义,故很多情况下需要UTF-8编码保存文本,去掉这个0×00。举例如下: 
UTF-16: 0×0080  = 0000 0000 1000 0000 
UTF-8:   0xC280 = 1100 0010 1000 0000 
UTF-32
:采用4字节。 
优缺点 
    UTF-8
UTF-16UTF-32都可以表示有效编码空间 (U+000000-U+10FFFF) 内的所有Unicode字符。 
    
使用UTF-8编码时ASCII字符只占1个字节,存储效率比较高,适用于拉丁字符较多的场合以节省空间。 
    
对于大多数非拉丁字符(如中文和日文)来说,UTF-16所需存储空间最小,每个字符只占2个字节。 
    Windows NT
内核是UnicodeUTF-16),采用UTF-16编码在调用系统API时无需转换,处理速度也比较快。 
    
采用UTF-16UTF-32会有Big EndianLittle Endian之分,而UTF-8则没有字节顺序问题,所以UTF-8适合传输和通信。 
    UTF-32
采用4字节编码,一方面处理速度比较快,但另一方面也浪费了大量空间,影响传输速度,因而很少使用。

如何判断字符集

1字节序 
    
首先说一下字节序对编码的影响,字节序分为Big Endian字节序和Little Endian字节序。不同的处理器可能不一样。所以,传输时需要告诉处理器当时的编码字节序。对于前者而言,高位字节存在低地址,低字节存于高地址;后者相反。例如,0X03AB, 
Big Endian
字节序 
0000: 0 3 
0001: AB 
Little Endian
字节序是 
0000: AB 
0001: 0 3 
2
编码识别 
UNICODE
,根据前几个字节可以判断UNICODE字符集的各种编码,叫做Byte Order Mask方法BOM 
UTF-8: EFBBBF (
符合UTF-8格式,请看上面。但没有含义在UCSUNICODE
UTF-16 Big Endian
FEFF (没有含义在UCS-2
UTF-16 Little Endian
FFFE (没有含义在UCS-2
UTF-32 Big Endian
0000FEFF (没有含义在UCS-4
UTF-32 Little Endian
FFFE0000 (没有含义在UCS-4
GB2312
:高字节和低字节的第1位都是1 
BIG5
GBK&GB18030:高字节的第1位为1

版权声明:本文为博主原创文章,未经博主允许不得转载。

HTML5开发手机项目-个人总结

来自http://hi.baidu.com/welan/item/9206c0336b665abf134b14c2,很不错的总结 让网页的宽度自适应屏幕    1)html上加入    ...
  • yual365
  • yual365
  • 2013年10月11日 10:50
  • 28260

机器学习实战k近邻算法(kNN)应用之手写数字识别代码解读

一.背景简要说明 书中假设待识别的数字已经使用图形处理软件将其处理为32*32的黑白图像,并将图片转换为文本格式。如下图代表数字0: 每个数字的训练样本大概有200个,每个数字的测...
  • SCUT_Arucee
  • SCUT_Arucee
  • 2015年12月11日 11:33
  • 3759

机器学习实战python版第二章示例:手写识别系统

手写识别系统和前面的例子差不多,我们所需要做的就是把图数据转换成一维数组数据:数据准备:def img2vector(filename): returnVect = zeros((1,1024...
  • XD_Senior
  • XD_Senior
  • 2015年11月21日 22:51
  • 1397

手机开发实战43——手机字符编码介绍1

字符编码介绍 预备知识 1字符: 字符是抽象的最小文本单位。它没有固定的形状(可能是一个字形),而且没有值。“A”是一个字符,“€”(德国、法国和许多其他欧洲国家通用货币的标志)也是...
  • xjbclz
  • xjbclz
  • 2016年05月30日 22:04
  • 361

手机短信字符编码的问题

这几个月作手机短信的项目,碰到了很多字符编码的问题,真头痛。经过多番资料的搜索、亲手尝试和高人的指点,现在好像没那么迷惘了。现作了一些总结跟大家分享(有误之处请指点)               ...
  • liubin15989534919
  • liubin15989534919
  • 2011年09月30日 12:08
  • 791

手机开发实战92——PUSH介绍2

PUSH与SMS PUSH可以将某一站点或某一业务的链接通过短信发送到支持WAP PUSH功能的手机上,这样用户只需要阅读这条短信,打开短信中的链接,就可以直接访问业务了。因此,WAP PU...
  • xjbclz
  • xjbclz
  • 2016年06月07日 22:48
  • 409

手机开发实战95——MMS介绍2

MMS网络基本结构与工作原理 1. MMS 网络基本结构      移动多媒体信息业务系统涵盖了多种类型的网络,并可以集成这些网络中现有的信息业务系统。移动终端在多媒体信息业务环境(MMSE)中进...
  • xjbclz
  • xjbclz
  • 2016年06月07日 22:50
  • 159

手机开发实战56——EMS介绍2

业务描述   EMS从业务上可分为:移动台到移动台的EMS业务和SP(业务提供者)到移动台的业务。 EMS所支持的业务内容:   (1)格式化文本   ·对齐——左对齐、居中、...
  • xjbclz
  • xjbclz
  • 2016年06月01日 21:41
  • 198

手机开发实战128——AT介绍2

应用 在windows系统中有DOS命令行操作方式和图形用户界面操作方式,正常通过手机的菜单和按键对手机进行操作可以理解为图形用户界面操作方式,AT指令操作方式就相当于DOS命令行操作方式。 ...
  • xjbclz
  • xjbclz
  • 2016年06月10日 20:14
  • 183

手机开发实战161——EXIF格式介绍2

文件中段的介绍 JPEG文件中的每一个Marker Segments都是以一个WORD类型的数值开始(注意:这个数值记录在文件中时是高位字节在前,低位字节在后,将在后面介绍这个字节顺序的问题),...
  • xjbclz
  • xjbclz
  • 2016年06月12日 22:04
  • 250
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:手机开发实战44——手机字符编码介绍2
举报原因:
原因补充:

(最多只允许输入30个字)