第一:编码简单描述
一、ASCII码:美国佬最初把自己的语言用计算表示,发现 0--127 能把字母表+其它符号全能表示出来
二、 iso 8859-1:欧洲人,0---127 是ASCII码,128--255 加了一些特殊符号
三、Unicode :就是设计出全世界语言即对应编码,就像编了一本大汉语字典。
定义地址范围,两个字节(16个2进制位)
所以查汉字,首先查Unicode 表,得出 基本编码。
现在编出来,哪么计算机到底如何存储这些编码,用几个字节呢!
对Unicode 编码进行加工。
1、出现 UTF-16 little endian(有无BOM) ,Big endian(有无BOM)。
对Unicode 两个字节的编码增加字节存放数或存放位置进行调整。
1>>然后根据两个字节有高低,存放的地址有高低,高低字节如何存---出现 little endian ,Big endian
2>> Bom 区分UTF-8 EF BB BF,
UTF-16 FF FE
little endian(车尾压力小):重要的放在高地址,即低字节高地址,高字节低地址,低高高低。
Big endian(车尾压力大): 重要的放在低地址 。即低字节低地址,高字节高地址 ,低低高高。
2、UTF-8:解决Unicode 存贮ASCII浪费空间的问题,
编码规则: UTF-8(目前常用是把2个字节按地址分成三个区间,然后按照规则编写编码),UTF-32。
如 :1》对于ASCII码来说 1》一个旅馆一层楼就能住满客人,0---127 个小房间。
2》这下好,你增加一层楼,但是还是只住 同样数量的客人
**所以 Unicode 对于ASCII码在存贮到内存或硬盘,浪费一半的空间。
2》对汉字好像没影响,反正都是存贮 2个字节。
3》对于部分欧洲人来说,0---255 (一个字节)够了,也是浪费存贮空间。
所以出现 UTF-8
如果保存UTF-8文件内容:
第一:如果保存的字母在ASCII里,就直接存放ASCII的二进制,一个字节
第二:如果是汉字,哪么查找UNICODE表,看地址规定在UTF-8的那个地址范围内,就用几字节存。
**总结:ASCII存贮是省空间,但是其它中文,明明以前只要16位(2字节)现在有可能要三个字节表示。
四、GBK:用俩字节
第一字节:从129 开始往下编 0x81。
第二字节:从64---255 编码,即这8位是0100 0000----1111 1111
第二:例子
例如: 文本文件可保存的编码:
1、ASCII
2、UTF-16 little endian 有bom,UTF-16 little endian 无bom,
UTF-16 Big endian 有bom,UTF-16 Big endian 无bom,
3、UTF-8 有bom,UTF-8 无bom
例如:
严1a :gbk 0xD1 CF 31 61
严1a :unicode 0x4E25 31 61
1>查找unicode 代码过程 严 ----在网页:http://www.sojson.com/unicode.html 查Unicode得 10进制 #20005;
20005(十进制) = 100 1110 0010 0101(二进制)0x4E25
1:#49 49(十进制) = 110001(二进制) 0x31
a:#97 97(十进制) = 1100001(二进制) 0x61
2》查找 gbk 1:ASCII 表 0x31 a:ASCII 表 0x61 3.
严 -- http://www.qqxiuzi.cn/zh/hanzi-gbk-bianma.php 对应的代码 D1 CF
网络传输(TCP/IP):大尾(Big endian)即低字节低地址,高字节高地址 ,低低高高。
1.ASCII编码文件
D1 CF 31 61
保存: 1>对于0---127 的编码,就保存相应的ASCII码。
2>对于汉字编码就保存128 开始的两个字节里。
所以传给别人,非常方便区分。
****反正一个字节一个字节取,哪么当读到第一位是0,判断是ASCII码,读一个字节。
当读到第一位是1,判断是G BK码,因此连续读两个字节(从高地址往地址读)。
2、Unicode编码 :4E 25 0031 0061
little endian:每一个16位(2个字节),都是高字节低地址,低字节高地址。
例如 完整 一个16位:4E25(4E 高字节,25 低字节) 存放 反过来25 4E。每一个16位全部这样存放。
1>UTF-16 little endian 无bom 25 4E 31 00 61 00 (6个字节)
2> UTF-16 Big endian 无bom 00 25 00 4E 00 31 00 00 00 61 00 00 (12个字节)
3>UTF-16 little endian 有bom FF FE 25 4E 31 00 61 00 (8个字节)
4>UTF-16 Big endian 有bom FF FE 00 25 00 4E 00 31 00 00 00 61 00 00 (14个字节)
3、 UTF-8
1>UTF-8 (默认有Bom) EF BB BF E4 B8 A5 31 61 (8个字节)
2>UTF-8 无Bom E4 B8 A5 31 61 (5个字节)
ASCII码表
Bin | Dec | Hex | 缩写/字符 | 解释 |
00000000 | 0 | 00 | NUL(null) | 空字符 |
00000001 | 1 | 01 | SOH(start of headling) | 标题开始 |
00000010 | 2 | 02 | STX (start of text) | 正文开始 |
00000011 | 3 | 03 | ETX (end of text) | 正文结束 |
00000100 | 4 | 04 | EOT (end of transmission) | 传输结束 |
00000101 | 5 | 05 | ENQ (enquiry) | 请求 |
00000110 | 6 | 06 | ACK (acknowledge) | 收到通知 |
00000111 | 7 | 07 | BEL (bell) | 响铃 |
00001000 | 8 | 08 | BS (backspace) | 退格 |
00001001 | 9 | 09 | HT (horizontal tab) | 水平制表符 |
00001010 | 10 | 0A | LF (NL line feed, new line) | 换行键 |
00001011 | 11 | 0B | VT (vertical tab) | 垂直制表符 |
00001100 | 12 | 0C | FF (NP form feed, new page) | 换页键 |
00001101 | 13 | 0D | CR (carriage return) | 回车键 |
00001110 | 14 | 0E | SO (shift out) | 不用切换 |
00001111 | 15 | 0F | SI (shift in) | 启用切换 |
00010000 | 16 | 10 | DLE (data link escape) | 数据链路转义 |
00010001 | 17 | 11 | DC1 (device control 1) | 设备控制1 |
00010010 | 18 | 12 | DC2 (device control 2) | 设备控制2 |
00010011 | 19 | 13 | DC3 (device control 3) | 设备控制3 |
00010100 | 20 | 14 | DC4 (device control 4) | 设备控制4 |
00010101 | 21 | 15 | NAK (negative acknowledge) | 拒绝接收 |
00010110 | 22 | 16 | SYN (synchronous idle) | 同步空闲 |
00010111 | 23 | 17 | ETB (end of trans. block) | 传输块结束 |
00011000 | 24 | 18 | CAN (cancel) | 取消 |
00011001 | 25 | 19 | EM (end of medium) | 介质中断 |
00011010 | 26 | 1A | SUB (substitute) | 替补 |
00011011 | 27 | 1B | ESC (escape) | 溢出 |
00011100 | 28 | 1C | FS (file separator) | 文件分割符 |
00011101 | 29 | 1D | GS (group separator) | 分组符 |
00011110 | 30 | 1E | RS (record separator) | 记录分离符 |
00011111 | 31 | 1F | US (unit separator) | 单元分隔符 |
00100000 | 32 | 20 | (space) | 空格 |
00100001 | 33 | 21 | ! | |
00100010 | 34 | 22 | " | |
00100011 | 35 | 23 | # | |
00100100 | 36 | 24 | $ | |
00100101 | 37 | 25 | % | |
00100110 | 38 | 26 | & | |
00100111 | 39 | 27 | ' | |
00101000 | 40 | 28 | ( | |
00101001 | 41 | 29 | ) | |
00101010 | 42 | 2A | * | |
00101011 | 43 | 2B | + | |
00101100 | 44 | 2C | , | |
00101101 | 45 | 2D | - | |
00101110 | 46 | 2E | . | |
00101111 | 47 | 2F | / | |
00110000 | 48 | 30 | 0 | |
00110001 | 49 | 31 | 1 | |
00110010 | 50 | 32 | 2 | |
00110011 | 51 | 33 | 3 | |
00110100 | 52 | 34 | 4 | |
00110101 | 53 | 35 | 5 | |
00110110 | 54 | 36 | 6 | |
00110111 | 55 | 37 | 7 | |
00111000 | 56 | 38 | 8 | |
00111001 | 57 | 39 | 9 | |
00111010 | 58 | 3A | : | |
00111011 | 59 | 3B | ; | |
00111100 | 60 | 3C | << td=""> | |
00111101 | 61 | 3D | = | |
00111110 | 62 | 3E | > | |
00111111 | 63 | 3F | ? | |
01000000 | 64 | 40 | @ | |
01000001 | 65 | 41 | A | |
01000010 | 66 | 42 | B | |
01000011 | 67 | 43 | C | |
01000100 | 68 | 44 | D | |
01000101 | 69 | 45 | E | |
01000110 | 70 | 46 | F | |
01000111 | 71 | 47 | G | |
01001000 | 72 | 48 | H | |
01001001 | 73 | 49 | I | |
01001010 | 74 | 4A | J | |
01001011 | 75 | 4B | K | |
01001100 | 76 | 4C | L | |
01001101 | 77 | 4D | M | |
01001110 | 78 | 4E | N | |
01001111 | 79 | 4F | O | |
01010000 | 80 | 50 | P | |
01010001 | 81 | 51 | Q | |
01010010 | 82 | 52 | R | |
01010011 | 83 | 53 | S | |
01010100 | 84 | 54 | T | |
01010101 | 85 | 55 | U | |
01010110 | 86 | 56 | V | |
01010111 | 87 | 57 | W | |
01011000 | 88 | 58 | X | |
01011001 | 89 | 59 | Y | |
01011010 | 90 | 5A | Z | |
01011011 | 91 | 5B | [ | |
01011100 | 92 | 5C | \ | |
01011101 | 93 | 5D | ] | |
01011110 | 94 | 5E | ^ | |
01011111 | 95 | 5F | _ | |
01100000 | 96 | 60 | ` | |
01100001 | 97 | 61 | a | |
01100010 | 98 | 62 | b | |
01100011 | 99 | 63 | c | |
01100100 | 100 | 64 | d | |
01100101 | 101 | 65 | e | |
01100110 | 102 | 66 | f | |
01100111 | 103 | 67 | g | |
01101000 | 104 | 68 | h | |
01101001 | 105 | 69 | i | |
01101010 | 106 | 6A | j | |
01101011 | 107 | 6B | k | |
01101100 | 108 | 6C | l | |
01101101 | 109 | 6D | m | |
01101110 | 110 | 6E | n | |
01101111 | 111 | 6F | o | |
01110000 | 112 | 70 | p | |
01110001 | 113 | 71 | q | |
01110010 | 114 | 72 | r | |
01110011 | 115 | 73 | s | |
01110100 | 116 | 74 | t | |
01110101 | 117 | 75 | u | |
01110110 | 118 | 76 | v | |
01110111 | 119 | 77 | w | |
01111000 | 120 | 78 | x | |
01111001 | 121 | 79 | y | |
01111010 | 122 | 7A | z | |
01111011 | 123 | 7B | { | |
01111100 | 124 | 7C | | | |
01111101 | 125 | 7D | } | |
01111110 | 126 | 7E | ~ | |
01111111 | 127 | 7F | DEL (delete) |
iso 8859-1
Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
--------------------+---------------------------------------------
0x0000---0x007F | 0xxxxxxx
0x0080---0x07ff | 110xxxxx 10xxxxxx
0x0800---0xffff | 1110xxxx 10xxxxxx 10xxxxxx
上表,解读UTF-8编码非常简单。如果一个字节的第一位是0,则这个字节单独就是一个字符;如果第一位是1,则连续有多少个1,就表示当前字符占用多少个字节。
下面,还是以汉字"严"为例,演示如何实现UTF-8编码。
已知"严"的unicode是4E25(0100 1110 0010 0101)
根据上表,可以发现4E25处在第三行的范围内(0000 1000 0000 0000-1111 1111 1111 1111),因此"严"的UTF-8编码需要三个字节,即格式是"1110xxxx 10xxxxxx 10xxxxxx"。然后,从"严"的最后一个二进制位开始,依次从后向前填入格式中的x,多出的位补0。这样就得到了,"严"的UTF-8编码是"11100100 10111000 10100101",转换成十六进制就是E4B8A5。
参考文章:
ASCII码表
【1】http://www.fmddlmyy.cn/text16.html
Unicode 字符编码表
【2】http://www.cnblogs.com/chenwenbiao/archive/2011/08/17/2142718.html
【3】http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
utf-8和utf-16.
【4】http://www.cnblogs.com/kingcat/archive/2012/10/16/2726334.html
gbk编码
【5】 http://www.qqxiuzi.cn/zh/hanzi-gbk-bianma.php