什么是BOM?
去百度看了一下,原来是文件bom标记位(BOM: byte order mark : 字节顺序标记)
之前为了方便测试一些文件数据,用了notepad.exe去创建 .txt,结果读取出来的字符和程序中的死活不相同。
就是因为bom标记导致的。
网上搜索:百度科的BOM:
Unicode规范中的BOM
Unicode规范中有一个BOM的概念。BOM——Byte Order Mark,就是字节序标记。在这里找到一段关于BOM的说明:
在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符"ZERO WIDTH NO-BREAK SPACE"。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。
UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。
Windows就是使用BOM来标记文本文件的编码方式的。
另外unicode网站的FAQ-BOM详细介绍了BOM。官方的自然权威,不过是英文的,看起来比较费劲。
UTF-8编码的文件中,BOM占三个字节。如果用记事本把一个文本文件另存为UTF-8编码方式的话,用UE打开这个文件,切换到十六进制编辑状态就可以看到开头的EF BB BF了。这是个标识UTF-8编码文件的好办法,软件通过BOM来识别这个文件是否是UTF-8编码,很多软件还要求读入的文件必须带BOM。可是,还是有很多软件不能识别BOM。我在研究Firefox的时候就知道,在Firefox早期的版本里,扩展是不能有BOM的,不过Firefox 1.5以后的版本已经开始支持BOM了。如今又发现,PHP也不支持BOM。
PHP在设计时就没有考虑BOM的问题,也就是说他不会忽略UTF-8编码的文件开头BOM的那三个字符。由于必须在<?或者<?php后面的代码才会作为PHP代码执行,所以这三个字符将会直接输出。如果插件的文件有这个问题,将会导致在后台页面里激活或者不激活插件后显示白屏,如果是模版文件有这个问题,将会导致这三个字符直接输出,造成页面上方有一个小空行。国外的英文插件和模版一般都是用的ASCⅡ码的编码方式,不会有BOM,只有国内的插件和模版会由于作者的不知情造成问题。还有,大家修改模版的时候,由于输出页面使用UTF-8编码,那么修改模版的时候如果有加入中文字符的话,必须把文件转成UTF-8编码才能正常显示,这个时候如果所使用的编辑器自动加上了BOM的话,将会造成在页面上输出这三个字符,显示效果就要看浏览器了,一般是一个空行或是一个乱码。
一般我们遇到BOM标记都是酱紫导致(或者是我们的一个API导出文件时,默认参数就是With BOM):
是utf-8用记事本编辑代码保存的错误,使代码在保存的时候带上了BOM。 最好写代码的时候用编译器编写,不要用记事本编写代码。
出现出错后,点击下面的网址下载一个UltraEdit或editplus
It’s a zero-width no-break space.
It’s more commonly used as a byte-order mark (BOM).
总结为一句:写文本文件前,先写上(不写 Byte Order Mark (BOM)、等标记为,可代表编码格式)
查看一个文本文件是否带 BOM
可以去下载一个 HxD 软件,这是一个免费软件,你可以在百度里搜索,如下图
这里直接放出官方: HxD,打开后,找到 Download Page 即可
然后将文本文件拖拽进去即可,只要看到头三个 byte 是 EF BB BF 的,就是 UTF-8 带 BOM 的,其他编码的 BOM 也是类似方式查看即可,如下图:
读取带 BOM 的文件内容
用:Sublime、EditorPlus、UltraEditor、Notepad++等文本编辑来输入文本,保存就可以了。
我记得其中一个编辑器(忘记是哪个了)可以save with encoding…->
- no bom utf8
- with bom utf8
选第一个:no bom utf8就可以了。
UTF8编码的BOM头代码处理(原文),其他编码不一定能这样处理,下面是 C# 代码:
byte[] buffer = ...;
byte[] bomBuffer = new byte[] { 0xef, 0xbb, 0xbf }; // 0xef:239, 0xbb:187, oxbf:191
if (buffer[0] == bomBuffer[0]
&& buffer[1] == bomBuffer[1]
&& buffer[2] == bomBuffer[2])
{
return Encoding.UTF8.GetString(buffer, 3, buffer.Length - 3);
}
return Encoding.UTF8.GetString(buffer);
Unicode的话,FEFF或FFFE开头的都是BOM,FEFF是Big-Endian(高位靠左), FFFE是Little-Endian(地位靠右)
#现象:
vs中watch, variable等查看两个字符:a == “ab”; b == “ab”;
结果:a == b 一直都是false
string.Equals(a,b) == false
视觉上:a=“ab”, b="ab"都是"ab"没有问题啊。
然后发现:a.Length == 3, b.Length == 2
接着输出:
a[0] == ‘’ // 一个什么都看不到的字符
a[1] == ‘a’
a[2] == ‘b’
b[0] == ‘a’
b[1] == ‘b’
因为a[0]视觉上不知道是什么字符
#将BOM揪出来
((int)a[0]) == 65279
然后就直接:百度、必应:C# 65279
###看VSC的运行效果图:
然后就没然后了。。。
嗯,告一段落。