UTF-8编码 与 URL 解析

UCS-2和UCS-4编码很难在许多当前的应用和协议中使用，这些应用和协议假定字符为一个8或7比特的字节。即使新的可以处理16比特字符的系统，却不能处理UCS-4数据。这种情况导致一种称为UCS转换格式（UTF）的发展，它每一种有不同的特征。 UTF-8(RFC 2279)，使用了8比特字节的所有位，保持全部US-ASCII取值范围的性质：US-ASCII字符用一个8比特字节编码，采用通常的US-ASCII值，因此，在此值下的任何一个8比特位字节仅仅代表一个US-ASCII字符，而不会为其他字符。它有如下的特性：

1）UTF-8向UCS-4，UCS-2两者中任一个进行相互转换比较容易。
2）多8比特字节序列的第一个8比特字节指明了系列中8比特字节的数目。
3）8比特字节值FE和FF永远不会出现。
4）在8比特字符流中字符边界从哪里开始较容易发现。

UTF-8定义:
在UTF-8中，字符采用1到6个8比特字节的序列进行编码。仅仅一个8比特字节的一个序列中，字节的高位为0，其他的7位用于字符值编码。n（n>1）个8比特字节的一个序列中，初始的8比特字节中高n位为1，接着一位为0，此字节余下的位包含被编码字符值的位。接着的所有8比特字节的最高位为1，接着下一位为0，余下每个字节6位包含被编码字符的位。

下表总结了这些不同的8比特字节类型格式。字母x指出此位来自于进行编码的UCS-4字符值。


  UCS-4范围（16进制）    UTF-8 系列（二进制）
  0000 0000 <->0000 007F  0xxxxxxx
  0000 0080 <->0000 07FF  110xxxxx 10xxxxxx
  0000 0800 <->0000 FFFF  1110xxxx 10xxxxxx 10xxxxxx

  0001 0000 <->001F FFFF  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
  0020 0000 <->03FF FFFF  111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
  0400 0000 <->7FFF FFFF  1111110x 10xxxxxx ... 10xxxxxx


URL 解码

用IE发送GET请求的时候，URL是用UTF-8编码的，当对截包数据分析时候就需要对数据解码，下面的函数是一个简单的实现：

CString CTestUrlDlg::UrlToString(CString url)
{
CString  str = "";
int n = url.GetLength();
url.MakeLower();
BYTE a, b1, b2;
for (int i=0; i= ''0'') && (c <= ''9''))
d = c - ''0'';
else if ((c >= ''a'') && (c <= ''f''))
{
d = c - ''a'' + 10;
}
else if ((c >= ''A'') && (c <= ''F''))
{
d = c - ''A'' + 10;
}
else
d = 0;

return d;
}


static void UnicodeToGB2312(const WCHAR unicode, char* buffer)
{
// int size = ::WideCharToMultiByte(CP_ACP, 0, unicode, -1, NULL, 0, NULL, NULL); 

int ret = ::WideCharToMultiByte(CP_ACP, NULL, &unicode, -1, buffer, 3, NULL, NULL);
}

CString CTestUrlDlg::Uft8ToGB(CString url)
{
CString  str = "";
char buffer[3];
WCHAR unicode;

unsigned char * p = (unsigned char *)(LPCTSTR)url;
int n = url.GetLength();
int t = 0;
while (t < n)
{
unicode = UTF8ToUnicode(p, t);
UnicodeToGB2312(unicode, buffer);
buffer[2] = 0;
str += buffer;
}

return str;
}