utf8与gbk字符编码的转换

在编程的诸多问题中，乱码是比较让人烦心的，不同的操作系统平台，数据库，网页的文本编码都要考虑针对各种编码中文的支持，稍不注意就会出现看不懂的文字。

比如我们在火狐浏览器中访问  http://localhost/火狐浏览器的地址栏 ，可以看到这个uri已经被转码为

http://localhost/%E7%81%AB%E7%8B%90%E6%B5%8F%E8%A7%88%E5%99%A8%E7%9A%84%E5%9C%B0%E5%9D%80%E6%A0%8F

看起来一堆乱七八糟的，根本不知道表示的汉字是什么（这是由于火狐对地址栏的uri进行了utf8编码的缘故，IE浏览器则不会出现这个问题）

怎么实现gbk和utf-8编码之间中文的转换呢。

下面总结PHP，C，C#的处理方法。

<?php

$key = "http://localhost/%E7%81%AB%E7%8B%90%E6%B5%8F%E8%A7%88%E5%99%A8%E7%9A%84%E5%9C%B0%E5%9D%80%E6%A0%8F";
echo iconv("utf-8","gbk",urldecode($key));

?>

上面主要是用iconv函数实现转码，事先对字符串做urldecode处理，就可以得到中文的url了

C++语言如何实现字符串转编码，这里我也借助libiconv这个库，示例代码如下

#include<iconv.h>
#include<iostream>
using namespace std;

int convert(char *desc,char *src,char *input,size_t ilen,char *output,size_t olen)
{
     char **pin=&input;
     char **pout=&output;

     iconv_t cd=iconv_open(desc,src);
     if(cd==(iconv_t)-1){
         return -1;
     }
     memset(output,0,olen);
     if(iconv(cd,pin,&ilen,pout,&olen)){
     }
     iconv_close(cd);
     return 0;
}

int main(){
        char input[100]="http://localhost/火狐浏览器的地址栏";
        char output[100];
        char gbk[100];
        if( convert("gbk","utf-8",input,strlen(input),output,100) == 0 ){
                cout << output << endl; // http://localhost/▒▒▒▒▒▒▒▒ĵ▒ַ▒
        }
        if( convert("utf-8","gbk",output,strlen(output),gbk,100) == 0 ){
                cout << gbk << endl;   // http://localhost/火狐浏览器的地址栏
        }
        return 0;
}

C#语言的转码测试

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Web;

namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            Encoding utf8 = Encoding.GetEncoding("utf-8");
            Encoding gb2312 = Encoding.GetEncoding("gb2312");

            string str = "火狐浏览器的地址栏";

            Console.Write("utf8: ");
            byte[] utf8_byte = Encoding.Convert(gb2312, utf8, gb2312.GetBytes(str));
            string utf8_str = gb2312.GetString(utf8_byte);
            //奇数个中文，丢失最后一个字符：utf8: 鐏嫄娴忚鍣ㄧ殑鍦板潃鏍?
            Console.WriteLine(utf8_str);

            Console.Write("gb2312: ");
            byte[] gb2312_byte = Encoding.Convert(utf8, gb2312, utf8.GetBytes(utf8_str));
            string gb2312_str = utf8.GetString(gb2312_byte);
            //奇数个中文，丢失最后一个字符：gb2312: 火狐浏览器的地址??
            Console.WriteLine(gb2312_str);

            //由于在UrlEncode中指定了编码 utf8，所以能够得到正确结果
            //http://localhost/%e7%81%ab%e7%8b%90%e6%b5%8f%e8%a7%88%e5%99%a8%e7%9a%84%e5%9c%b0%e5%9d%80%e6%a0%8f
            Console.WriteLine("http://localhost/" + HttpUtility.UrlEncode(str,utf8));
        }
    }
}

C#的编码转换存在上面的问题，奇数个中文的字符串在gb2312.GetString方法调用时会丢失最后一个中文，我还没有找到解决方法，（Java语言比较好解决，百度一下就可以）。

不过我们可以通过别的函数直接实现正确的转码，比如将HttpUtility.UrlEncode后第二个参数直接指定utf8编码就可以得到正确结果。还有比如我们获取utf8编码的网页信息时，直接在初始化流对象时设置为utf8编码，则可以避免转化中文导致的错误。

HttpWebResponse res = (HttpWebResponse)req.GetResponse();

Stream smRes = res.GetResponseStream();
{
	StreamReader sr = new StreamReader(smRes,System.Text.Encoding.UTF8);
	strResult = sr.ReadToEnd();
	sr.Close();
}