关于utf8字符串处理，字符串截取乱码问题

今天在提取正文中跟关键词相关的一段文字时，总是出现乱码，只是简单的截取了一下长度，结果各种乱码

后来想到之前处理gbk字符串时，根据第一个字符的无符号整型值来判断这个字占多少个字符，如果大于0x80就是两个字符，否则就是一个字符，修改完之后，还是出现乱码

这才发现程序里取到的字符串全是utf8的（唉，改别人的程序，不知道会遇到什么问题），去网上查了下utf8的编码规则：

Unicode/UCS-4	bit数	UTF-8	byte数	备注
0000 ~ 007F	0~7	0XXX XXXX	1
0080 ~ 07FF	8~11	110X XXXX 10XX XXXX	2
0800 ~ FFFF	12~16	1110XXXX 10XX XXXX 10XX XXXX	3	基本定义范围：0~FFFF
1 0000 ~ 1F FFFF	17~21	1111 0XXX 10XX XXXX 10XX XXXX 10XX XXXX	4	Unicode6.1定义范围：0~10 FFFF
20 0000 ~ 3FF FFFF	22~26	1111 10XX 10XX XXXX 10XX XXXX 10XX XXXX 10XX XXXX	5	说明：此非unicode编码范围，属于UCS-4 编码 早期的规范UTF-8可以到达6字节序列，可以覆盖到31位元（通用字符集原来的极限）。尽管如此，2003年11月UTF-8 被 RFC 3629 重新规范，只能使用原来Unicode定义的区域， U+0000到U+10FFFF。根据规范，这些字节值将无法出现在合法 UTF-8序列中
400 0000 ~ 7FFF FFFF	27~31	1111 110X 10XX XXXX 10XX XXXX 10XX XXXX 10XX XXXX 10XX XXXX	6

根据上面这个表，就可以判断某个字所占字符数，跟gbk的处理方式一样，也是遍历字符串，根据第一个字符的值判断需要占用多少字节

写了个小程序，用于提取正文中和关键词相关的一段文字：

#include <string>

class CUtfStr
{
public:
	CUtfStr(const char *_utf);
	~CUtfStr();
	int getwordnum();			//计算utf8字符串中有多少字
	int getbytenum(char ch);	//获取当前字节表示这个字占多少字节
	int getDesc(char *desc, char *keywords, int nWordNum);	//获取和关键词相关的一段内容，关键词必须用*分割

private:
	char *utfStr;
};

CUtfStr::CUtfStr(const char *_utf)
{
	int nLen = strlen(_utf);
	utfStr = new char[nLen+10];
	memset(utfStr, 0, nLen+10);
	sprintf(utfStr, "%s", _utf);
}

CUtfStr::~CUtfStr()
{
	delete [] utfStr;
}

int CUtfStr::getwordnum()
{
	char *pos = utfStr;
	int nWordNum = 0;
	while(pos && pos <= utfStr+strlen(utfStr)-1)
	{
		pos += getbytenum(*pos);
		nWordNum++;
	}
	return nWordNum;
}

int CUtfStr::getbytenum(char ch)
{
	int nCode = (unsigned char)ch;
	if(nCode < 128)
		return 1;
	else if(nCode>=192 && nCode <= 223)
		return 2;
	else if(nCode >= 224 && nCode <= 239)
		return 3;
	else if(nCode >= 240 && nCode <= 247)
		return 4;
	else if(nCode >= 248 && nCode <= 251)
		return 5;
	else if(nCode >= 252 && nCode <= 253)
		return 6;
	else
		return 7;
}

int CUtfStr::getDesc(char *desc, char *keywords, int nWordNum)
{
	char *pstart = keywords;
	char *pos = strstr(pstart, "*");
	bool bFind = false;
	int nWordLen = -1;
	char sword[1024];
	while(pos)
	{
		memset(sword, 0, 1024);
		strncpy(sword, pstart, pos-pstart);
		pstart = pos+1;
		pos = strstr(pstart, "*");
		
		//printf("word:%s\n", sword);
		if(strstr(utfStr, sword))
		{
			bFind = true;
			nWordLen = strlen(sword);
			break;
		}
	}
	if(bFind == false && pstart < keywords+strlen(keywords))
	{
		memset(sword, 0, 1024);
		strncpy(sword, pstart, keywords + strlen(keywords) - pstart);
		//printf("word:%s\n", sword);
		
		if(strstr(utfStr, sword))
		{
			bFind = true;
			nWordLen = strlen(sword);
		}
	}
	
	if(bFind && nWordLen > 0)
	{
		//找到词了
		char *wordpos = strstr(utfStr, sword);
		char *beforePos = (char*)utfStr;
		while(beforePos && beforePos < wordpos)
		{
			if(wordpos-beforePos <= 12)
				break;
			beforePos = beforePos + getbytenum(*beforePos);
		}
		if(beforePos && beforePos < wordpos)
			strncpy(desc, beforePos, wordpos-beforePos);
		else
			strncpy(desc, utfStr, wordpos-utfStr);
		strcat(desc, "<span style=\"color:red;\">");
		strcat(desc, sword);
		strcat(desc, "</span>");
		char *afterpos = wordpos+nWordLen;
		int nAfternum = 0;
		while(afterpos)
		{
			int nCode = (unsigned char)(*afterpos);
			afterpos = afterpos + getbytenum(*afterpos);
			nAfternum++;
			
			if(nAfternum >= nWordNum-8)
				break;
		}
		if(afterpos)
			strncat(desc, wordpos+nWordLen, afterpos-(wordpos+nWordLen));
		else
			strcat(desc, wordpos+nWordLen);
	}
	else
	{
		//没找到，就从头取40个字
		char *pos = (char*)utfStr;
		int num = 0;
		while(pos && pos <= utfStr+strlen(utfStr)-1)
		{
			pos = pos + getbytenum(*pos);
			num++;
			if(num >= nWordNum)
				break;
		}
		strncat(desc, utfStr, pos-utfStr);
	}
	return 1;
}