讨论perl中的utf-8编码处理

 

为了比较方便，考虑这样一个应用：把html页面中的所有非汉字字符全部去掉。

这里顺便告诉大家一个秘诀，只要文本被perl 按正确编码解释后，利用/w就可以匹配一个字母、数字、_、汉字，这个特性是不是很方便，所以我们只要用如下两次正则表达式就可以去掉所有非汉字字符，包括全角的一些标点(＠＃＄％＜，（）)也能去的很干净：

 

$str   =~  s / [ ^ w] // g;
$str   =~  s / [ 0 - 9a - zA - Z_] // g;

 

 问题在于如何让perl正确的理解我们的文本，我先给出我们的测试程序如下：

 

# ! /usr/bin/perl 
use  strict;
use  Encode;
use   open  IN  =>   " :raw " ,    OUT  =>   " :raw " ;

my   $arg   =   $ARGV [ 0 ];
sub  aaa {
         open  FH ,   " testutf8 "  or  die   " aaa$! " ;
         local  $ /   =   undef ;
         binmode  FH ,   " :utf8 " ;
         my   $str   =   < FH > ;
         return   $str ;
}
sub  bbb {
         open  FH ,   " testutf8 " ;
         local  $ /   =   undef ;
         binmode  FH ,   " :raw " ;
         my   $str   =   < FH > ;
         $str   =   pack   " U0C* " ,   unpack   " C* " ,   $str ;
         return   $str ;
}
sub  ccc {
         open  FH ,   " testutf8 "  or  die   " aaa$! " ;
         local  $ /   =   undef ;
         binmode  FH ,   " :raw " ;
         my   $str   =   < FH > ;
         $str   =  Encode :: decode_utf8( $str );
         return   $str ;          
}
sub  ddd {
         open  FH ,   " testutf8 "  or  die   " aaa$! " ;
         local  $ /   =   undef ;     
         binmode  FH ,   " :raw " ;   
         my   $str   =   < FH > ;       
         $str   =  decode( ' utf-8 ' ,   $str );  
         return   $str ;
}
sub  eee {
         open  FH ,   " testgb "  or  die   " aaa$! " ;
         local  $ /   =   undef ;
         binmode  FH ,   " :raw " ;
         my   $str   =   < FH > ;
        Encode :: from_to( $str ,   ' gbk ' ,   ' utf-8 ' );
         $str   =  Encode :: decode_utf8( $str );
         return   $str ;
}
sub  fff {
         my   $str   =  `iconv  - f gbk  - t utf - 8  testgb`;
         $str   =  Encode :: decode_utf8( $str );
         return   $str ;
}
my   $f ;
eval ( " $f = *$arg " );
for  ( my   $i   =   0 ;  $i   <   200 ;  $i ++ ) {
         my   $str   =   & $f ();
         # print "$i ",(length $str)." ";
}
my   $str ;
$str   =   & $f ();
$str   =~  s / [ ^ w] // g;
$str   =~  s / [ 0 - 9a - zA - Z_] // g;
print   $str ;

 

这里共有aaa-fff六个方法，其中aaa-ddd四个方法是把一个叫testutf8的文本文件读入并转码，而eee-fff两个方法是读入testgb文本的。

程序运行的时候，第一个参数传入方法名，像这样./test.pl aaa就可以了，在命令前面加time可以统计所花的时间。这里为了避免perl做的干扰，程序一开始用use open IN => ":raw",   OUT => ":raw"; 强制默认的输入输出都不做解释。

这六种方法都是经过测试能正确得到要求的结果的，但是运行速度在我的perl 5.8.0下却是不一样的，如下

aaa    0m0.376s
bbb    0m5.263s
ccc    0m0.432s
ddd    0m2.668s
eee    0m0.784s
fff    0m1.358s

从结果我们可以看出，方法bbb最慢，它使用了某些文章上推崇的pack、unpack技巧，不仅从语法上来说极其恶心，效率也是最差
而方法ddd和ccc同样使用了Encode模块，做了同样的事，效率却差的很大，可见Encode模块还是存在缺陷的。也就是说decode方法比decode_utf8方法慢的太多了。
方法aaa并没有太出色的表现，不过也居第一，说明perl底层对utf-8的直接支持还算行。
作为一个反映perl底层糟糕的例子，把":utf8"改成":encoding(utf-8)"测试一下，用了0m1.650s，慢了400%

作为更多的尝试，考虑一下GBK编码的例子，eee使用了一个迂回战术，先用from_to转成utf-8，然后直接调用decode_utf8以避开decode的调用，fff类似，只不过调用了iconv进程来转。
从这我们看出，linux的进程生成代价果然极低，fff方法的差距竟然比bbb的更小（意思是，perl中的不当编程，导致竟然比反复调用外部程序做的还慢）。

那么decode是否真的很慢呢，把eee方法改动一下，直接调用encode，像这样
$str = Encode::decode('gbk', $str);
我们发现，时间是0m0.727s，也就是说，还是比迂回的方法快。

这种奇怪的现象怎么解释呢，
我懒得去研读Encode模块的实现了，只先这么推测吧：

gbk的解码比utf-8要容易得多，所以参数为gbk时的decode方法很快，而参数为utf-8就很慢了。
为什么直接用decode_utf8就这么快呢（比encode用gbk参数还快），只能说，perl对它内置的东西还是做了相当的优化，效率并不低。