PHP对GB编码动态转UTF-8编码的几种方法评测

转载 2006年06月02日 08:22:00
在《IP地址->地理位置转换的测评》一文中提到用ip2addr函数直接读取IP数据库文件是效率最高的,相比用MySQL数据库存储IP数据,用SQL查询是效率最低的。但是IP数据库文件QQWry.dat是GB2312编码的。现在我需要UTF-8编码的地理位置结果。如果用MySQL方法,可以在数据存入数据库时就转换为UTF-8编码,一劳永逸。但是QQWry.dat文件又无法修改,只能把ip2addr函数的输出结果再进行动态转换。

动态转换GB->UTF-8编码至少有四种方法:

用PHP的iconv扩展转换

用PHP的mb_string扩展转换

用对换表转换,对换表存储在MySQL数据库中

用对换表转换,对换表存储在文本文件中

前两种方法要服务器作了相应设置(编译安装了相应扩展)才能使用。我的虚拟主机没有这两个扩展,只好考虑后两种方法。前两个方法本文也不进行测评。

测评程序如下(func_ip.php参见《IP地址->地理位置转换的测评》一文):

<?php
require_once ("func_ip.php");
function u2utf8($c) {
  $str = "";
  if ($c < 0x80) {
    $str .= $c;
  } elseif ($c < 0x800) {
    $str .= chr(0xC0 | $c >> 6);
    $str .= chr(0x80 | $c & 0x3F);
  } elseif ($c < 0x10000) {
    $str .= chr(0xE0 | $c >> 12);
    $str .= chr(0x80 | $c >> 6 & 0x3F);
    $str .= chr(0x80 | $c & 0x3F);
  } elseif ($c < 0x200000) {
    $str .= chr(0xF0 | $c >> 18);
    $str .= chr(0x80 | $c >> 12 & 0x3F);
    $str .= chr(0x80 | $c >> 6 & 0x3F);
    $str .= chr(0x80 | $c & 0x3F);
  }
  return $str;
}
function GB2UTF8_SQL($strGB) {
  if (!trim($strGB)) return $strGB;
  $strRet = "";
  $intLen = strlen($strGB);
  for ($i = 0; $i < $intLen; $i++) {
    if (ord($strGB{$i}) > 127) {
        $strCurr = substr($strGB, $i, 2);
        $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
        $strSql = "SELECT code_unicode FROM nnstats_gb_unicode
          WHERE code_gb = ".$intGB." LIMIT 1"
        ;
        $resResult = mysql_query($strSql);
        if ($arrCode = mysql_fetch_array($resResult)) $strRet .= u2utf8($arrCode["code_unicode"]);
        else $strRet .= "??";
        $i++;
    } else {
        $strRet .= $strGB{$i};
    }
  }
  return $strRet;
}
function GB2UTF8_FILE($strGB) {
  if (!trim($strGB)) return $strGB;
  $arrLines = file("gb_unicode.txt");
  foreach ($arrLines as $strLine) {
    $arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
  }
  $strRet = "";
  $intLen = strlen($strGB);
  for ($i = 0; $i < $intLen; $i++) {
    if (ord($strGB{$i}) > 127) {
        $strCurr = substr($strGB, $i, 2);
        $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
        if ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);
        else $strRet .= "??";
        $i++;
    } else {
        $strRet .= $strGB{$i};
    }
  }
  return $strRet;
}
function EncodeIp($strDotquadIp) {
  $arrIpSep = explode('.', $strDotquadIp);
  if (count($arrIpSep) != 4) return 0;
  $intIp = 0;  
  foreach ($arrIpSep as $k => $v) $intIp += (int)$v * pow(256, 3 - $k);
  return $intIp;
  //return sprintf('%02x%02x%02x%02x', $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);
}
function GetMicroTime() {
  list($msec, $sec) = explode(" ", microtime());
  return ((double)$msec + (double)$sec);
}
for ($i = 0; $i < 100; $i++) { // 随机产生100个ip地址
  $strIp = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255);
  $arrAddr[$i] = ip2addr(EncodeIp($strIp));
}
$resConn = mysql_connect("localhost", "netnest", "netnest");
mysql_select_db("test");
// 测评MySQL查询的编码转换
$dblTimeStart = GetMicroTime();
for ($i = 0; $i < 100; $i++) {
  $strUTF8Region = GB2UTF8_SQL($arrAddr[$i]["region"]);
  $strUTF8Address = GB2UTF8_SQL($arrAddr[$i]["address"]);
}
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
// 测评结束并输出结果
echo $dblTimeDuration; echo "/r/n";
// 测评文本文件查询的编码转换
$dblTimeStart = GetMicroTime();
for ($i = 0; $i < 100; $i++) {
  $strUTF8Region = GB2UTF8_FILE($arrAddr[$i]["region"]);
  $strUTF8Address = GB2UTF8_FILE($arrAddr[$i]["address"]);
}
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
// 测评结束并输出结果
echo $dblTimeDuration; echo "/r/n";
?>
测评两次结果(精确到3位小数,单位是秒):

MySQL查询转换:0.112
文本查询转换:10.590

MySQL查询转换:0.099
文本查询转换:10.623

可见这次是MySQL方法遥遥领先于文件查询法。但是现在还不急于使用MySQL方法,因为文本文件方法之所以如此耗时,主要因为它每次转换都要把整个gb_unicode.txt读入内存,而gb_unicode.txt又是文本文件,格式如下:

0x2121   0x3000   # IDEOGRAPHIC SPACE
0x2122   0x3001   # IDEOGRAPHIC COMMA
0x2123   0x3002   # IDEOGRAPHIC FULL STOP
0x2124   0x30FB   # KATAKANA MIDDLE DOT
0x2125   0x02C9   # MODIFIER LETTER MACRON (Mandarin Chinese first tone)
……
0x552A   0x6458   # <CJK>
0x552B   0x658B   # <CJK>
0x552C   0x5B85   # <CJK>
0x552D   0x7A84   # <CJK>
……
0x777B   0x9F37   # <CJK>
0x777C   0x9F3D   # <CJK>
0x777D   0x9F3E   # <CJK>
0x777E   0x9F44   # <CJK>

文本文件效率较低,于是考虑把文本文件转换为二进制文件,然后用折半法查找这个文件,而不需要把整个文件读入内存。文件格式为:文件头2字节,存储记录数;接着一条接一条记录存入文件,每条记录4字节,前2字节对应GB代码,后2字节对应Unicode代码。转换程序如下:

<?php
$arrLines = file("gb_unicode.txt");
foreach ($arrLines as $strLine) {
  $arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
}
ksort($arrCodeTable);
$intCount = count($arrCodeTable);
$strCount = chr($intCount % 256) . chr(floor($intCount / 256));
$fileGBU = fopen("gbu.dat", "wb");
fwrite($fileGBU, $strCount);
foreach ($arrCodeTable as $k => $v) {
  $strData = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));
  fwrite($fileGBU, $strData);
}
fclose($fileGBU);
?>
执行程序后就获得了二进制的GB->Unicode对照表gbu.dat,并且数据记录按GB代码排了序,便于折半法查找。使用gbu.dat进行转码的函数如下:

function GB2UTF8_FILE1($strGB) {
  if (!trim($strGB)) return $strGB;
  $fileGBU = fopen("gbu.dat", "rb");
  $strBuf = fread($fileGBU, 2);
  $intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});
  $strRet = "";
  $intLen = strlen($strGB);
  for ($i = 0; $i < $intLen; $i++) {
    if (ord($strGB{$i}) > 127) {
        $strCurr = substr($strGB, $i, 2);
        $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
        $intStart = 1;
        $intEnd = $intCount;
        while ($intStart < $intEnd - 1) { // 折半法查找
          $intMid = floor(($intStart + $intEnd) / 2);
          $intOffset = 2 + 4 * ($intMid - 1);
          fseek($fileGBU, $intOffset);
          $strBuf = fread($fileGBU, 2);
          $intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
          if ($intGB == $intCode) {
            $intStart = $intMid;
            break;
          }
          if ($intGB > $intCode) $intStart = $intMid;
          else $intEnd = $intMid;
        }
        $intOffset = 2 + 4 * ($intStart - 1);
        fseek($fileGBU, $intOffset);
        $strBuf = fread($fileGBU, 2);
        $intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
        if ($intGB == $intCode) {
          $strBuf = fread($fileGBU, 2);
          $intCodeU = ord($strBuf{0}) + 256 * ord($strBuf{1});
          $strRet .= u2utf8($intCodeU);
        } else {
          $strRet .= "??";
        }
        $i++;
    } else {
        $strRet .= $strGB{$i};
    }
  }
  return $strRet;
}
把其加到原来的测评程序,对三种方法同时测评2次得到数据(精确到3位小数,单位:秒):

MySQL方法:0.125
文本文件方法:10.873
二进制文件折半法:0.106

MySQL方法:0.102
文本文件方法:10.677
二进制文件折半法:0.092

可见二进制文件折半法还比MySQL法略有优势。但是上述测评都是对短的地理位置进行转码,如果对较长的文本转码又如何呢?我找来5个Blog的RSS 2.0文件,都是GB2312编码。测评三种方法对5个文件编码耗费的时间,2次测量数据如下(精确到3位小数,单位:秒):

MySQL方法:7.206
文本文件方法:0.772
二进制文件折半法:5.022

MySQL方法:7.440
文本文件方法:0.766
二进制文件折半法:5.055

可见对长的文本是用文本文件的方法最优,因为转码对照表读入内存后,转码就可以很高效了。既然如此,我们还可以尝试改进一下,把文本文件方法改为:转码对照表从二进制文件gbu.dat读入内存,而不是文本文件。测评数据如下(精度和单位同上):

从文本文件读入对照表:0.766
从二进制文件读入对照表:0.831

从文本文件读入对照表:0.774
从二进制文件读入对照表:0.833

表明这次改进失败了,从文本文件读入转码对照表更高效。

总结:用PHP对GB编码到UTF-8编码的动态转换,如果每次转换的文本很小,适宜用二进制文件结合折半法转换;如果每次转换的文本较大,适宜用文本文件存储转码对照表,并在转换前一次性把对照表读入内存。

相关文章推荐

关于几种编码详解(Unicode,UTF-8,GB系列)

最近学Python,老是被编码的问题搞得晕乎乎的,晚上看了好多篇博客,整理出来一个比较清晰的关于几种编码以及字符集的思路。 主要参考:http://blog.sina.com.cn/s/blog_6...

php使用iconv进行从utf-8转为gb2312字符编码出错解决方案

原文:http://www.path8.net/tn/archives/2560 在php函数库有一个函数:iconv() 把gb2312置换成utf-8 $text=iconv("GB...
  • pestd
  • pestd
  • 2011年09月29日 11:11
  • 289

[转] ASCII,Unicode,UTF-8,GB2312编码之间的关系

从文件编码的方式来看,文件可分为ASCII码文件和二进制码文件两种。          ASCII文件也称为文本文件,这种文件在磁盘中存放时每个字符对应一个字节,用于存放对应的ASCII码。例如,数...
  • ginsan
  • ginsan
  • 2014年01月28日 10:00
  • 422

使用java的native2ascii工具命令来转换编码gbk,gb2312,utf-8【转】

native2ascii的用法 Sun也太吝啬了,也不多给点使用例子. 它的帮助只有:用法:native2ascii [-reverse] [-encoding 编码] [输入文件 [输出文件]]...

form提交时的字符编码转换之utf-8转gb2312

  在IE下面指定表单提交编码方式 收藏 在跨业务、跨网站发送数据或者业务升级的时候,我们有的时候需要指定发送数据的编码方式,比如页面是utf-8编码的,而发送出去的数据却希望是GB2312编码的。在...
  • fox_lht
  • fox_lht
  • 2011年05月10日 15:44
  • 12350

各种编码的来历--做网站用UTF-8还是GB2312(转)

一. 各种编码的来历   可能很多同学一直对字符的各种编码方式懵懵懂懂,根本搞不清为什么他们有这么多编码。   ASCII编码   其实在很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合...

ASP中Utf-8与Gb2312编码转换乱码问题的解决方法 页面编码声明

出现这样的问题是当你浏览UTF-8编码的时候,服务器默认用UTF-8的引擎来输出html,当你用再浏览GB2312的页面时,它还是用UTF-8来输出本应是GB2312编码的页面所以会乱码。  为...

PHP处理数组gbk与utf-8编码互相转换的两种方法

一、利用var_export(), eval()方法 /** * 将含有GBK的中文数组转为utf-8 * * @param array $arr 数组 * @param strin...

php将unicode编码转为utf-8方法

介绍 在前端开发中,为了让中文在不同的环境下都能很好的显示,一般是将中文转化为unicode格式,即\u4f60,比如:”你好啊”的unicode编码为”\u4f60\u597d\u554a”。 ...
  • lcathm
  • lcathm
  • 2013年08月07日 20:58
  • 1460
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:PHP对GB编码动态转UTF-8编码的几种方法评测
举报原因:
原因补充:

(最多只允许输入30个字)