字符编码(utf-8 without bom 与 Unicode)

由于计算机是美国人发明的，因此，最早只有127个字符被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码。

 

但是要处理中文显然一个字节是不够的，至少需要两个字节，而且还不能和ASCII编码冲突，所以，中国制定了GB2312编码，用来把中文编进去。你可以想得到的是，全世界有上百种语言，日本把日文编到Shift_JIS里，韩国把韩文编到Euc-kr里，各国有各国的标准，就会不可避免地出现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码。

 

Unicode应运而生。Unicode把所有语言都统一到一套编码里，这样就不会再有乱码问题了。Unicode标准也在不断发展，最常用的是用两个字节表示一个字符（如果要用到非常偏僻的字符，就需要4个字节）。如果统一成Unicode编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。

 

本着节约的精神，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。

因此现在计算机系统通用的字符编码工作方式：

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

 

 

 

 

注：utf-8 without bom
utf-8本来就不应该加bom，除了 让编辑器知道它是个utf-8之外什么用处都没有。实际上编辑器完全有能力在不太多的几个编码格式之间根据特征来判断一个文件是什么编码，就算不能自动识 别，编辑器也应该有设置编码的地方。所以BOM对于utf-8来说是多余的东西。
如果你的编程平台需要跨平台编译，比如，会在linux平台上编译，而不是只在windows上运行，建议不带BOM，unicode标准就是不带。