网页中遇到的网页文件编码问题的解决办法

在处理网页源文件的时候，经常会遇到网页源文件编码的问题，这些问题在解析标签的时候倒是没什么问题，但是就是在存储的时候会有乱码发生。这个数据库，操作系统的默认编码有关系，当然罪魁祸首依然是千变万化的网页源文件造成的。
解决这个问题通常的做法是无论是什么编码格式， 一律转化为utf-8，但是事与愿违，转化为utf-8 需要首先知道当前源文件的编码，这就麻烦了，因为源文件里提供的编码标签并不能准确的描述源文件的编码，因为大多数浏览器并不关心。也就是说
<meta http-equiv="Content-type" content="text/html; charset=gb2312" />
这个标签并不能让浏览器就按照 gb2312来解析源代码，当然ie除外。
这就造成了大量的开发者明明 用utf-8，可是偏偏这里写着gb2312 ，当然测试通过了也就不管了。

无奈之下只好先判断源代码是不是utf-8，不是的话则默认认为它是gb2312.
以下是两个函数

void toUtf_8( string & str )
{
	if(isUtf_8(str.c_str() , str.size()))
		return;
	else
	{
		string s = str;
		str = boost::locale::conv::between( s, "UTF-8", "gb2312" );
	}
}
bool isUtf_8(const char* str,long length)
{
	int i;
	int nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节
	unsigned char chr;
	bool bAllAscii=true; //如果全部都是ASCII, 说明不是UTF-8
	for(i=0;i<length;i++)
	{
		chr= *(str+i);
		if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx
			bAllAscii= false;
		if(nBytes==0) //如果不是ASCII码,应该是多字节符,计算字节数
		{
			if(chr>=0x80)
			{
				if(chr>=0xFC&&chr<=0xFD)
					nBytes=6;
				else if(chr>=0xF8)
					nBytes=5;
				else if(chr>=0xF0)
					nBytes=4;
				else if(chr>=0xE0)
					nBytes=3;
				else if(chr>=0xC0)
					nBytes=2;
				else
				{
					return false;
				}
				nBytes--;
			}
		}
		else //多字节符的非首字节,应为 10xxxxxx
		{
			if( (chr&0xC0) != 0x80 )
			{
				return false;
			}
			nBytes--;
		}
	}

	if( nBytes > 0 ) //违返规则
	{
		return false;
	}

	if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8
	{
		return false;
	}
	return true;
}



 

//注意这里使用了 boost的loca 库，需要在使用的时候加上相应的库目录和包含目录
使用如下：
#include <boost/locale.hpp>
int main()
{
	std::string str;
	str = download("url"); //获取源文件
	toUtf_8(str);
	doSomeThing(str); //现在可以用utf-8 做一些事情了
}