java 如何去掉 nbsp_java删除前导zwnbsp字符（零宽度空白字符）

在处理分词结果时，遇到了前导zwnbsp字符，记录一下处理方法。

Q1：什么是ZWNBSP？

A1：UTF-8有一个BOM(Byte Order Mark)的问题。

在Unicode编码中有一个叫做"zero-width no-break space (ZWNBSP)"的字符，它的编码是0xFEFF。而0xFEFF在是一个实际中不存在的字符，所以不应该出现在实际传输中。UCSUCS (Unicode Character Set) 规范建议我们在传输字节流前，先传输字符"ZWNBSP"。这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little- Endian的。因此字符"ZWNBSP"又被称作BOM。

Q2：怎么防止过滤ZWNBSP字符？

A2：首先来看一下为什么会出现ZWNBSP字符。当我们用记事本保存一个文本文件时，我们可以看到可选编码有下图几种，其中，就有「UTF-8」和「带 BOM 的 UTF-8」，而二者的区别就是的区别就是有没有 BOM，即文件开头有没有 \UFEFF。

而这，正是ZWNBSP字符出现的原因。

ZWNBSP字符往往会出现在字符串首字符，所以，在处理时也不难：

final String UTF8_BOM = "\uFEFF";

if (s.startsWith(UTF8_BOM)) {

s = s.substring(1);

}

参考文献

最后，码一下常见编码总结备不时之需。

2021年2月3日22点42分