perl编码转换

原创 2011年01月25日 12:44:00

gb2312转Utf8的方法:
use Encode;
my $str = "中文";
$str_cnsoftware = encode("utf-8", decode("gb2312", $str));
 
Utf8转gb2312的方法:
use Encode;
my $str = "utf8中文";
$str_cnsoftware = encode("gb2312", decode("utf-8", $str);

或用

use Encode;

 Encode::from_to($octets, "iso-8859-1", "cp1250");

 

 

 

 

本文和大家重点讨论一下Perl不同编码之间的变换,Perl从5.6开始已经开始在内部使用utf8编码来表示字符,也就是说对中文以及其他语言字符的处理应该是完全没有问题的。

Perl不同编码之间的变换

Perl从5.6开始已经开始在内部使用utf8编码来表示字符,也就是说对中文以及其他语言字符的处理应该是完全没有问题的。我们只需要利用好Encode这个模块便能充分发挥Perl的utf8字符的优势了。

下面就以中文文本的处理为例进行说明,比如有一个字符串”测试文本”,我们想要把这个中文字符串拆成单个字符,可以这样写:

 

  1. useEncode;  
  2. $dat=”测试文本”;  
  3. $str=decode(”gb2312″,$dat);  
  4. @chars=split//,$str;  
  5. foreach$char(@chars){  
  6. printencode(”gb2312″,$char),”/n”;  
  7. }  

 

结果大家试一试就知道了,应该是令人满意的。

这里主要用到了Encode模块的decode、encode函数。要了解这两个函数的作用我们需要清楚几个概念:

1、Perl字符串是使用utf8编码的,它由Unicode字符组成而不是单个字节,每个utf8编码的Unicode字符占1~4个字节(变长)。

2、进入或离开Perl处理环境(比如输出到屏幕、读入和保存文件等等)时不是直接使用Perl字符串,而需要把Perl字符串转换成字节流,转换过程中使用何种编码方式完全取决于你(或者由Perl代劳)。一旦Perl字符串向字节流的编码完成,字符的概念就不存在了,变成了纯粹的字节组合,如何解释这些组合则是你自己的工作。

我们可以看出如果想要Perl按照我们的字符概念来对待文本,文本数据就需要一直用Perl字符串的形式存放。但是我们平时写出的每个字符一般都被作为纯ASCII字符保存(包括在程序中明文写出的字符串),也就是字节流的形式,这里就需要encode和decode函数的帮助了。

encode函数顾名思义是用来编码Perl字符串的

它将Perl字符串中的字符用指定的编码格式编码,最终转化为字节流的形式,因此和Perl处理环境之外的事物打交道经常需要它。其格式很简单:
$octets=encode(ENCODING,$string[,CHECK])

$string:Perl字符串
encoding: 是给定的编码方式
$octets:是编码之后的字节流
check: 表示转换时如何处理畸变字符(也就是Perl认不出来的字符)。一般不需使用编码方式视语言环境的不同有很大变化,默认可以识别utf8、ascii、ascii-ctrl、iso-8859-1等。

decode函数则是用来解码字节流的

它按照你给出的编码格式解释给定的字节流,将其转化为使用utf8编码的Perl字符串,一般来说从终端或者文件取得的文本数据都应该用decode转换为Perl字符串的形式。它的格式为:
$string=decode(ENCODING,$octets[,CHECK])
$string、ENCODING、$octets和CHECK的含义同上。

现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的,存放的时候已经是字节流形式,丧失了本来的意义,所以首先就要用decode函数将其转换为Perl字符串,由于汉字一般都用gb2312格式编码,这里decode也要使用gb2312编码格式。转换完成后Perl对待字符的行为就和我们一样了,平时对字符串进行操作的函数基本上都能正确对字符进行处理,除了那些本来就把字符串当成一堆字节的函数(如vec、pack、unpack等)。于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用utf8编码的字符串,还需要将切割后的字符用encode函数编码为gb2312格式的字节流,再用print输出。

另外,还可以用下面的方法来"猜"出字符串的编码.但我试过,也不是每次都管用.
useEncodeqw/from_to/;
useEncode::Guessqw/euc-jpshiftjis/;

openINFILE"....";#输入的文件是SHIFT-JIS编码的文件这里只转换第一行做个测试
 

  1. my$str=<INFILE> 
  2. my$enc=guess_encoding($str);  
  3. if(ref$enc){  
  4. $from=$enc->name;  
  5. }else{  
  6. $from="shiftjis";  
  7. }  
  8.  
  9. from_to($str,$from,$to);  
  10. printSTDOUT"ThetestStringis:$str";  
  11.  

当输入文件行纪录是日文汉字开头的时候,是可以判断出来编码类型是shift-jis的.但是当开头是一组数据再加个逗号之类的数据时,就猜不到了.原因还不是很明确.

版权声明:本文为博主原创文章,未经博主允许不得转载。

Perl中文/unicode/utf8/GB2312之间的转换

本文转载自:
  • chivalrousli
  • chivalrousli
  • 2014年10月23日 17:04
  • 2107

perl字符编码转化

gb2312转Utf8的方法: use Encode; my $str = "中文"; $str_cnsoftware = encode("utf-8", decode("gb2312",...
  • q383965374
  • q383965374
  • 2013年11月04日 21:44
  • 1732

perl字符编码转化

gb2312转Utf8的方法: use Encode; my $str = "中文"; $str_cnsoftware = encode("utf-8", decode("gb2312",...
  • q383965374
  • q383965374
  • 2013年11月04日 21:44
  • 1732

Perl中字符串编码的处理

在 Perl看来, 字符串只有两种形式. 一种是octets, 即8位序列, 也就是我们通常说的字节数组. 另一种utf8编码的字符串, perl管它叫string. 也就是说: Perl只熟悉两种编...
  • beckdon
  • beckdon
  • 2015年12月15日 14:21
  • 1048

perl中的字符编码

首先说说各种编码的定义。 1.字符编码、内码、汉字编码       ASCII、GB2312、GBK、GB18030向下兼容,即同一个字符在这些方案中总是有相同的编码,后面的标准支持更多的字符。 ...
  • whb9526
  • whb9526
  • 2016年09月19日 16:36
  • 298

perl中utf-8编码的处理

为了比较方便,考虑这样一个应用:把html页面中的所有非汉字字符全部去掉。 这里顺便告诉大家一个秘诀,只要文本被perl 按正确编码解释后,利用/w就可以匹配一个字母、数字、_、汉字,这个特性是不...
  • suanleba10
  • suanleba10
  • 2013年08月11日 01:02
  • 1312

perl编程规范

1 命名规则 1.1 文件命名 文件名称统一用英文字母(大小写)、数字和下划线的组合,长度一般不超过20个字符,文件命名体现功能的含义,正式发布版本不能加入作者信息。Perl Scripts 文件的扩...
  • yaoqiang2011
  • yaoqiang2011
  • 2013年08月23日 17:02
  • 2367

perl中字符串编码分析和注意事项

》在 Perl看来, 字符串只有两种形式. 一种是octets, 即8位序列, 也就是我们通常说的字节数组. 另一种utf8编码的字符串, perl管它叫string. 也就是说: Perl只熟悉两种...
  • xiao3404
  • xiao3404
  • 2017年12月23日 11:41
  • 64

perl 写excel,支持中文

perl 写excel,支持中文
  • bing_bing
  • bing_bing
  • 2014年12月25日 12:35
  • 1113

时区转化和perl函数

整个地球分为二十四时区,每个时区都有自己的本地时间。在国际无线电通信场合,为了统一起见,使用一个统一的时间,称为通用协调时(UTC,Universal Time Coordinated)。UTC与格林...
  • bruce_wang_janet
  • bruce_wang_janet
  • 2014年01月26日 00:45
  • 1131
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:perl编码转换
举报原因:
原因补充:

(最多只允许输入30个字)