工作中用到了,就写了一个。
GBK编码从0x8140-0xFEFE,去除0xxx7F这部分。包括了所用的中日韩字符集。
判断是否为GBK可以用isGBKChe 或 isGBKChe2,都可以。
一个是从区间判断,一个是从第一个字节的头位为一这个特性判断。
typedef unsigned char var_u1;
#define isZone(p,a,b) ( (p) >= (a) && (p) <= (b) )
#define isGBKChe(p) (isZone(*(var_u1*)p,0x81,0xFE) && isZone(*(var_u1*)(p+1),0x40,0xFE) && *(p+1) != 0x7F )
#define isGBKChe2(p) (*(p)<0)
static int cutbuf(char* p, int len, int size)
{
if( len<= size )
return len;
char *pEnd = p + size - 1;
char *pCur = p;
if( !isGBKChe(pEnd) )
return size;
while(pCur<pEnd)
{
if( isGBKChe(pCur) )
pCur+=2;
else
pCur++;
}
return pCur-p;
}
utf-8判断遵循的是这个属性:
UTF-8的编码规则很简单,只有二条:
1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的。
2)对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。
下表总结了编码规则,字母x表示可用编码的位。
Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
汉字位于第三区间内,由三字节编码组成。
所以只要鉴别第一字节的头四个字位,后两位的前两个字位即可。
#define isUTF8Che(p) ( (*(var_u1*)(p))>>4 == 0x0E && (*(var_u1*)(p+1))>>6 == 0x02 && (*(var_u1*)(p+2))>>6 == 0x02 )
static int qi_cutbuf_utf8(var_1* p, int len, int size)
{
if( len<= size )
return len;
if( *(p + size - 1) >= 0 )
return size;
if( size < 3 )
return 0;
char *pEnd = p + size;
char *pCur = p + size - 2;
while(pCur>p && (*(var_u1*)(pCur))>>4 != 0x0E )
{
pCur--;
}
while(pCur<pEnd)
{
if( isUTF8Che(pCur) )
pCur+=3;
else
pCur++;
}
if( pCur > pEnd )
pCur -= 3;
return pCur-p;
}
中间做了个优化,
1.如果截取末尾为正数,可以认为该字符为单字符编码,直接截取即可。
2.如果小于3字节,返回0长度。
3.向前找1110 xxxx或大于零的字节,然后从该位置向后计算,这样可以不用从头遍历。
这两个文章是介绍编码字符集的:
字符编码简介:ASCII,Unicode,UTF-8,GB2312:http://www.cnblogs.com/mjgforever/archive/2008/02/27/1083135.html
字符集GBK和UTF8的区别说明:http://space.itpub.net/55022/viewspace-713901