UTF-8编码问题编码长度问题

最新推荐文章于 2023-05-15 09:05:27 发布

cbbbc

最新推荐文章于 2023-05-15 09:05:27 发布

阅读量2.8k

点赞数

分类专栏：游戏引擎

游戏引擎专栏收录该内容

40 篇文章 3 订阅

订阅专栏

UTF-8经常被用于文本文件和网络传输，因为不少这类场合还停留在ANSI时代，需要向纯ASCII兼容。UTF-8是UNICODE的一种变长字符编码，长度在1至6字节。这里注意一下，UTF-8曾经是6字节，现在是4字节，两者都对。但如果你看到介绍UTF-8的文章说是6字节，基本可以判断这是比较早的文章。在内容只是ASCII的0X00~0X7F时，UTF-8与ASCII或各种ANSI编码（如GB，JISKSC，ISO-8859-1）的ASCII部分完全兼容，也是用1字节的低7位表示。这就保证文本编辑器打开的UTF-8格式文档中，即使扩展字符无法显示，但ASCII部分肯定得以顺利解读。这点对于还需要假定是各种ANSI编码的场合非常有用，比如HTML，前面的纯ASCII部分一直到META标记，然后可以确定随后的编码，而此时UTF-16 则不能正常工作。UTF-8采用如下所示的二进制方式来表示31位UCS-4，X表示有效位：
1字节 0XXXXXXX
2字节 110XXXXX 10XXXXXX
3字节 1110XXXX 10XXXXXX 10XXXXXX
4字节 11110XXX 10XXXXXX 10XXXXXX 10XXXXXX
5字节 111110XX 10XXXXXX 10XXXXXX 10XXXXXX 10XXXXXX
6字节 1111110X 10XXXXXX 10XXXXXX 10XXXXXX 10XXXXXX 10XXXXXX
从上可以看得出，如果处在第一字节的引导字节最高位为0，则是一字节。否则看前导1的个数，来确定是几个字节长。前导1与有效位之间有0相隔，也可以通过首字节的值范围来确定字节数。
1字节 0 ~127
2字节 192~223
3字节 224~239
4字节 240~247
5字节 248~251
6字节 252~253
随后的字节每个都以10为前导位，取值范围则在128~191之间。可以立即得知一个字节是否为后续字节，因为引导字节的引导位不是00、01就是11，不会是10。

截取8个字符：
字符串:stefan²º¹³
字节数:14
字符数:10
01110011
01110100
01100101
01100110
01100001
01101110
11000010
10110010
11000010
10111010
11000010
10111001
11000010
10110011

错误的：
字符串:stefan�0
字节数:10
字符数:8
01110011
01110100
01100101
01100110
01100001
01101110
11101111
10111111
10111101
00110000

正确的：
字符串:stefan²º
字节数:10
字符数:8
01110011
01110100
01100101
01100110
01100001
01101110
11000010
10110010
11000010
10111010

涉及到相关代码：

Java代码

mb_internal_encoding("UTF-8");  
  
$t = "stefan²º¹³";  
$t = "绝望的奥特曼绝望的奥特曼";  
//$t = "stefan�0";  
  
//$t = mb_substr($t, 0, 8);  
$t = my_substr($t, 2, 8);  
echo "字符串:" . $t . "\n";  
echo "字节数:" . strlen($t) . "\n";  
echo "字符数:" . mb_strlen($t) . "\n";  
  
$len = strlen($t);  
for($i=0;$i<$len;$i++)  
{  
    $bin = decbin(ord($t[$i]));  
    for($j=8;$j>strlen($bin);$j--)  
    {  
        echo '0';  
    }  
    echo $bin . "\n";  
}  
  
//自定义utf8截取函数  
function my_substr($str, $start, $len)  
{  
    $cur_len = 0;  
    $sub_len = 0;  
    $new_str = '';  
    $str_len = strlen($str);  
    for($i=0;$i<$str_len;)  
    {  
        $dec = ord($str[$i]);  
        $byte_len = 1;  
        if($dec<=127)  
        {  
            $byte_len = 1;  
        }  
        else if($dec>=192 && $dec<=223)  
        {  
            $byte_len = 2;  
        }  
        else if($dec>=224 && $dec<=239)  
        {  
            $byte_len = 3;  
        }  
        else if($dec>=240 && $dec<=247)  
        {  
            $byte_len = 4;  
        }  
        else if($dec>=248 && $dec<=251)  
        {  
            $byte_len = 5;  
        }  
        else if($dec>=252 && $dec<=253)  
        {  
            $byte_len = 6;  
        }  
        else  
        {  
            // 异常  
            $i++;  
            continue;  
        }  
  
        for($j=$byte_len;$j>0;$j--)  
        {  
            if($cur_len>=$start)  
            {  
                $new_str .= $str[$i];  
            }  
            $i++;  
        }  
  
        if($cur_len>=$start)  
        {  
            $sub_len++;  
        }  
        $cur_len++;  
        if($sub_len>=$len)  
        {  
            break;  
        }  
    }  
  
    return $new_str;  
}

原文地址：http://stefan321.iteye.com/blog/1911383