GBK和Utf-8字符串截取函数

工作中用到了，就写了一个。

GBK编码从0x8140-0xFEFE，去除0xxx7F这部分。包括了所用的中日韩字符集。

判断是否为GBK可以用isGBKChe 或 isGBKChe2，都可以。

一个是从区间判断，一个是从第一个字节的头位为一这个特性判断。

typedef     unsigned char var_u1;
#define isZone(p,a,b) ( (p) >= (a) && (p) <= (b) )
#define isGBKChe(p) (isZone(*(var_u1*)p,0x81,0xFE) && isZone(*(var_u1*)(p+1),0x40,0xFE) && *(p+1) != 0x7F )
#define isGBKChe2(p) (*(p)<0)


static int cutbuf(char* p, int len, int size)
{
 if( len<= size )
  return len;

 char *pEnd = p + size - 1;
 char *pCur = p;

 if( !isGBKChe(pEnd) )
  return size;
 
 while(pCur<pEnd)
 {
  if( isGBKChe(pCur) )
   pCur+=2;
  else
   pCur++;
 }
 
 return pCur-p; 
}

utf-8判断遵循的是这个属性：

UTF-8的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

下表总结了编码规则，字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

汉字位于第三区间内，由三字节编码组成。

所以只要鉴别第一字节的头四个字位，后两位的前两个字位即可。

#define isUTF8Che(p) ( (*(var_u1*)(p))>>4 == 0x0E && (*(var_u1*)(p+1))>>6 == 0x02 && (*(var_u1*)(p+2))>>6 == 0x02 )

static int qi_cutbuf_utf8(var_1* p, int len, int size)
{
	if( len<= size )
		return len;
	
	if( *(p + size - 1) >= 0 )
		return size;
	
	if( size < 3 )
		return 0;

	char *pEnd = p + size;
	char *pCur = p + size - 2;

	while(pCur>p && (*(var_u1*)(pCur))>>4 != 0x0E )
	{
		pCur--;
	}

	while(pCur<pEnd)
	{
		if( isUTF8Che(pCur) )
			pCur+=3;
		else
			pCur++;
	}

	if( pCur > pEnd )
		pCur -= 3;
	
	return pCur-p;	
}

中间做了个优化，

1.如果截取末尾为正数，可以认为该字符为单字符编码，直接截取即可。

2.如果小于3字节，返回0长度。

3.向前找1110 xxxx或大于零的字节，然后从该位置向后计算，这样可以不用从头遍历。

 

这两个文章是介绍编码字符集的：

 字符编码简介：ASCII，Unicode，UTF-8，GB2312：http://www.cnblogs.com/mjgforever/archive/2008/02/27/1083135.html

字符集GBK和UTF8的区别说明：http://space.itpub.net/55022/viewspace-713901