utf8字符编码检测

最新推荐文章于 2024-07-13 10:44:45 发布

palm_civet

最新推荐文章于 2024-07-13 10:44:45 发布

阅读量1.9k

点赞数

分类专栏： Java 文章标签： byte encoding 2010 c

本文链接：https://blog.csdn.net/palm_civet/article/details/6023857

版权

本文介绍了如何检测一个字节序列是否符合UTF8字符编码规范，通过比较GBK字符集和UTF8的冲突情况，提供了有效的UTF8编码检测代码实现。

摘要由CSDN通过智能技术生成

原创文章，转帖请注明出处:

http://blog.csdn.net/palm_civet/archive/2010/11/20/6023857.aspx

根据维基百科上的一篇文章编写，比较了一下gbk字符集，utf8检测与gbk冲突的汉字不多基本可以满足要求了。

gbk:

range	byte 1	byte 2	code points	characters
range	byte 1	byte 2	code points	GB 18030	GBK 1.0	Codepage 936	GB 2312
Level GBK/1	`A1`–`A9`	`A1`–`FE`	846	728	717	702	682
Level GBK/2	`B0`–`F7`	`A1`–`FE`	6,768	6,763		6,763	6,763
Level GBK/3	`81`–`A0`	`40`–`FE` except `7F`	6,080	6,080		6,080
Level GBK/4	`AA`–`FE`	`40`–`A0` except `7F`	8,160	8,160		8,080
Level GBK/5	`A8`–`A9`	`40<`