utf-8 变长字节的算法

最新推荐文章于 2021-11-28 11:32:21 发布

xcwenn

最新推荐文章于 2021-11-28 11:32:21 发布

阅读量1.8k

点赞数

分类专栏： c 文章标签： UTF-8 算法

本文链接：https://blog.csdn.net/xcwenn/article/details/8843081

版权

c 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

utf8 不比gb2312 ,后者是两个字节表示一个汉字，而utf8是变长的。那么在utf8中多少个字节才是表示一个汉字呢？！
在看wesnoth（很不错的回合制游戏）的源码时，特意注意到这一点。找到了分享之：

int byte_size_from_utf8_first(unsigned char ch)
{
    int count;
  
    if ((ch & 0x80) == 0)
        //这是用来兼容ASSIC的。也就是说一个标准的ASSIC文件就是UTF-8文件
        count = 1;
    else if ((ch & 0xE0) == 0xC0)
         //0xE0是11100000
         //0xC0是11000000
         //是说前面3个bit 是110 ，那当前的字符和后面的一个字符组成一个汉字
        count = 2;
    else if ((ch & 0xF0) == 0xE0)
         //0xF0是11110000
         //0xE0是11100000
         //是说前面4个bit 是1110 ，那当前的字符和后面的两个字符组成一个汉字
        count = 3;
    else if ((ch & 0xF8) == 0xF0)
        count = 4;
    else if ((ch & 0xFC) == 0xF8)
        count = 5;
    else if ((ch & 0xFE) == 0xFC)
        count = 6;
    else
        throw invalid_utf8_exception(); // Stop on invalid characters

    return count;
}

从注释中不能看出这个IP的分类很相似。。