UTF-8 是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度。UTF-8 的编码规则如下:
1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的 Unicode 码。因此对于英语字母,UTF-8 编码和 ASCII 码是相同的。
2)对于n字节的符号(n > 1),第一个字节的前n位都设为1,第n + 1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的 Unicode 码。
下表总结了编码规则,字母x表示可用编码的位。
根据以上规则,可以写出计算UTF8字符串的函数。
static uint8_t utf8_code_bytes(uint8_t byte)
{
int bytes = 0;
if (byte <= 0x7F) { //then ASCII 占用1个字节
bytes = 1;
} else if (byte >= 0xC0 && byte <= 0xDF) { // then 首字节 UTF-8 占用2个字节
bytes = 2;
} else if (byte >= 0xE0 && byte <= 0xEF) { // then 首字节 UTF-8 占用3个字节
bytes = 3;
} else if (byte >= 0xF0 && byte <= 0xF7) { // then 首字节 UTF-8 占用4个字节
bytes = 4;
} else if (byte >= 0xF8 && byte <= 0xFB) { // then 首字节 UTF-8 占用5个字节
bytes = 5;
} else if (byte >= 0xFC && byte <= 0xFD) { // then 首字节 UTF-8 占用6个字节
bytes = 6;
} else if (byte > 0x7F && byte < 0xC0 ) { // then UTF-8 非首字节
bytes = 0;
}
return bytes;
}
int utf8_strlen(const char *str)
{
int ret = 0;
if(str){
int len = strlen(str);
for(int i=0; i < len; ){
uint8_t bytes = utf8_code_bytes(str[i]);
if(bytes == 0){
break;
}
ret++;
i += bytes;
}
}
return ret;
}