Java程序员遇上字符乱码2-容易混淆的两种编码类别

《来自罗志晓的笔记：http://note.youdao.com/notesh...》
我们平时老说的编码解码，很多人都只知道 字符集编码解码。其实除了字符集编码解码，常见的还有另一类，如 Url编码解码、Base64编码解码。
这两类编码的原理是完全不一样的，如果没有了解到这个分类以为编码都是字符集编码，那么你会无法理解那些解释编码的博文，会疑问：怎么说的都不一样啊，久之真的会怀疑人生。可恨的是，很多博文在关键环节上 对这两个概念 都是统一用 “编码解码” 四字一笔带过。

字符集编码: 就是对字符 根据不同字符集中对应的格式 进行编码解码，这个大家都好理解。
而另一类别编码解码出现的意义并不是 为在不同字符集之间对字符进行格式转换，而是为了别的原因，例如：将不安全字符转化、原内容不可见以提高安全性、和 便于网络传输。
下面详细说说，以Base64编码解码 和 Url 编码解码为例。

Base64编码解码

生活中的场景：
我们平时接收发送邮件所使用的SMTP协议，是基于文本的协议，也就是说只能处理常见字符。可是我们为何还可以发送接收图片、视频、压缩包等二进制文件？这就是Base64编码解码 出现的意义了。我们发送邮件前，客户端会将 图片等进行Base64编码，于是整张图片变成了 人类可读的常见字符，然后在发送出去。接收方客户端接收到后，再 Base64解码还原成图片呈现给我们。
原理过程：
简单来说，Base64就是一种用 64个Ascii字符来表示任意二进制数据的方法，或者简单的说将二进制数据编码成Ascii字符。
这 64个Ascii字符如下：

即ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/

一眼看去就知道是26个字母大小写和数字和+/ 。

没错，别惊讶，你没理解错，上面的64个字符真的可以表示任意的二进制文件数据。那么是怎么操作的呢？过程如下：
以3个字节为一组（24位），按每6位高位补0扩展成8位得到4个字节（32位）。
（一）图片举例
假如一张图片只有四个字节：11101111 11011011 11101111 11011011

以3个字节为一组:(剩余的字节不足3个字节的话则补0凑够) 11101111 11011011 11101111 11011011 00000000 00000000

1. 每组 按 6bit 划分成 4小分组 111011 111101 101111 101111 110110 110000 000000 000000

2. 每个小分组高位补0 以凑够 8bit，即一个字节 00111011 00111101 00101111 00101111 00110110 00110000 00000000 00000000
   [这里你可能会容易认为：每个新的字节 映射 到一个Ascii字符集中的字符，然而你又错了！]

3. 上述的每个新的字节 其实是 上表格的字符集合的索引下标（位置序号）而已，并非映射到原生Ascii字符集。如下图，我们将新的字节用 十进制 展示：
   

4. 根据索引做转换：[这里注意：凡是后面补0 的字节，只能算映射到 = ]
   59 ---> 7 61---> 947---> v 47---> v 54---> 2 48--->w 0---> = 0---> =
   即：
   
   因此最后这张图片变成：79vv2w== ，即Ascii字符，这样就可以符合SMTP文本协议了。

（二）字符举例
图片的话，我们是着眼其 字节 的 。字符也是如此。首先我们要 根据字符集 找出字符对应的二进制字节，然后按照上面的过程编码。下面 以“你a”为例

• UTF-8

    ‘你’ :   `0xE4BDA0` 即   `111001001011110111000000`    
    ‘a’  :   `0x61` 即`01100001`  合起来就是： `11100100101111011100000001100001`
    计算后得到结果： `5L2gYQ==`    
    

• GBK

    ‘你’  :   `0xC4E3` 即   `1100010011100011`   
    ‘a’   :   `0x61`即 `01100001`  合起来就是：`110001001110001101100001` 
    计算后得到结果就和上面不一样了。
  

Tips:

1. 其实网上好多Base64在线编码器，如工具网址：http://www.qqxiuzi.cn/bianma/...我们可以很方便地Base64编码：【注意：在网页上输入框输入的字符都是 根据 响应头中的ContentType指定的字符集编码进行编码的】

Base64编码的优缺点：

1. 优点：可以将二进制数据转换成可打印Ascii字符，方便传输数据；对数据进行简单的加密，肉眼不可识别。

2. 缺点：内容编码后的体积会变大，编码和解码需要额外的工作量。

常见运用场景：(来自网络)

1. 将图片等资源文件以Base64编码形式直接放于代码中，使用的时候反Base64后转换成Image对象使用；

2. 有些文本协议不支持不可见字符的传递，只能转换成可见字符来传递信息；

3. 有时在一些特殊的场合，大多数消息是纯文本的，偶尔需要用这条纯文本通道传一张图片之类的情况发生的时候，就会用到Base64。

注意：

1. Base64 不是什么实质意义上的加解密算法，不过的确可以将 原内容 ”改头换面“，人们往往将这理解成 加密 了。