Pack 与unpack使用说明

资料来源摘自perlpacktut,初学perl的时候,想必大家对於pack与unpack都不是很了解,因此本人撷取perldoc里面的文章,为各位简单说明pack与unpack的使用方法:首先定义一下pack与unpack:pack可视为将一系列的片段的数值打包在一起,可用於对dev档案、socket、memory的读写,因为这些需要一块完整的memory,而且需要事先打包成特定格式;而unpack可以视为将将这些完整的memory切割计算,取得我们所需要各部分的Variable。例子如下:
print pack(“H2”x10,map{ “3$_” } (0..9);
得到
0123456789
因为ASCII中30~39代表数字0-9。所以pack後可以得到ascii编码的0->;9,而我们可以利用unpack将string作逆向操作。
print unpack(“H*”,”0123456789”);
得到
30313233343536373839
同样的作法可以用在中文字中,至是你要注意OS的编码格式,UTF-8、GB2312、Big5得到的数值并不会相同。

Pack与unpack也可以用在对於对於固定格式的文件作处理的情形下:

 
    Date             |Description                                  | Income|Expenditure
    01/24/2001 Ahmed's Camel Emporium      1147.99
    01/28/2001 Flea spray                                     24.99
    01/29/2001 Camel rides to tourists                235.00  
看到上面格式,想必大家很多人都用用substr将固定栏位中的字串取出来,或利用有点点复杂的Regular Expression将上面的文件栏位匹配出来,而实际上我们要将上面栏位一个一个匹配出来可以用一行搞定
例子:
while(<FF>){
my($date,$desc,$income,$expend) = unpack(“A10xA27xA7xA*”);
}
简单说明:A表示ASCII,A10表示10个ASCII character,x表示null byte也等於skip a byte,也就是说我们要跳过一个char(|),然後接着27个ASCII char,然後跳过一个vhar,再接上7个ASCII,在跳过一个char,最後A*表示不管後面char有多少个,我全含括进来。

这样子就可以得到各个栏位相对应的资料,很简单吧! 不需要什麽太多的技巧,一行搞定。之後将income与expend作加总,得到total_income、total_expend,数值,然後再输出的时候,如果也要格式对称,要怎麽办?大多数人都会用format或sprintf,然後一行一行很辛苦的,将结果输出。其实可以简化成:
$income = sprintf("%.2f", $income); # Get them into
$expend = sprintf("%.2f", $expend); # "financial" format

将$income与$expend先格式化,然後同上例将结果输出:
print pack("A11 A28 A8 A*", $date, "Totals", $income, $expend);
注意:这边多加一个char主要是因为’x’表示的是null byte,所以如果用A7xA27xA7xA*,则输出的字串会连在一起,而多给他一个char,就可以让字串不会都连在一起。
完成程式如下:

#!/usr/bin/perl
use POSIX;
open(FF,"tt.txt");
while(<FF>;){
  my ($date,$desc,$income,$expend) = unpack("A10xA27xA7xA*",$_);
     $tot_income += $income;
     $tot_expend += $expend;
     $income = sprintf("%.2f", $income);
     $expend = sprintf("%12.2f", $expend);
print pack("A11 A28 A8 A*", $date, "$desc", $income, $expend),"/n";
}
$tot_income = sprintf("%.2f", $tot_income); # Get them into
$tot_expend = sprintf("%12.2f", $tot_expend); # "financial" format
$date = POSIX::strftime("%m/%d/%Y", localtime);
print pack("A11 A28 A8 A*", $date, "Totals", $tot_income, $tot_expend),"/n";
整数的pack:
对於整数需要注意各个OS所定义的int的长度,与各个OS所用的byte order顺序是little-endian还是big-endian,就是高位元在前还是低位元在前的意思。
例子:
my $ps = pack(‘s’,20302);
s:a signed short intger,一般都是16bits=2bytes,如果我们将他print出来(列印这些pack後的字元,实际上是不具任何意义的),会发现他等於NO或ON,然後将$ps在unpack可以得到20302
unpack(‘s’,’NO’); ----------------->;20302

注意:如果今天你用”s”,pack一个大於65535的数字,高位元会自动被删除,而得到与你想要的数字不同的结果,这点需要注意。

“l”: signed 32bits integer
“L”:unsigned 32bits integer
“q”:signed 64bits intger
“Q”:unsigned 64bits integer
“i”:signed integers of “local custom” variety
“I”:unsigned integers of “local custom” variety
这两个”i”与”I”主要与机器的OS定义有关系,其长度等於c中的sizeof(int),如果要用於perl与其他语言的沟通,最好使用这个编码原则。
对照表:(其中%Config要先use Config;才能使用)

   signed unsigned  byte length in C   byte length in Perl        
     s!     S!      sizeof(short)      $Config{shortsize}
     i!     I!      sizeof(int)        $Config{intsize}
     l!     L!      sizeof(long)       $Config{longsize}
     q!     Q!      sizeof(longlong)   $Config{longlongsize}  
对memory stack作pack:
例子如下:memory stack长得像下面这样,接着利用unpack将stack中的各个栏位取出。

      +---------+           +----+----+                        +---------+
TOS: |   IP      |TOS+4:| FL | FH | FLAGS  TOS+14:|   SI    |
         +---------+           +----+----+                         +---------+
      |   CS    |                 | AL | AH | AX                    |   DI    |
      +---------+              +----+----+                         +---------+
                                    | BL | BH | BX                     |   BP    |
                                    +----+----+                         +---------+
                                    | CL | CH | CX                     |   DS    |
                                    +----+----+                         +---------+
                                    | DL | DH | DX                       |   ES    |
                                    +----+----+                          +---------+  


my( $ip, $cs, $flags, $ax, $bx, $cd, $dx, $si, $di, $bp, $ds, $es ) =     unpack( 'v12', $frame );
‘v’ :unsigned short in ‘VAX ‘ order
这是取出横列的IP、CS、FLAGS、AX、BX、CX、DX、SI、DI、BP、DS、ES

   my( $fl, $fh, $al, $ah, $bl, $bh, $cl, $ch, $dl, $dh ) =
     unpack( 'C10', substr( $frame, 4, 10 ) );  
‘C’:unsign character value,用於bytes读取
这样子分两行很麻烦,所以将他们放在一起得到:
my( $ip, $cs,
$flags,$fl,$fh,
$ax,$al,$ah, $bx,$bl,$bh, $cx,$cl,$ch, $dx,$dl,$dh,
$si, $di, $bp, $ds, $es ) =
unpack( 'v2' . ('vXXCC' x 5) . 'v5', $frame );
‘X’:Backup a byte

网路应用:
‘n’: An unsigned short in "network" (big-endian) order
‘N’: An unsigned long in "network" (big-endian) order
在作网路连结时,往往需要将长度先送给Server,使其知道後面有多少character要读取,因此如果有一段msg,可以利用下列方式打包:
my $buf = pack( 'N', length( $msg ) ) . $msg;
说明:等於「长度」( unsigned long)加上讯息内容,也可简化为:
my $buf = pack(‘NA*’,length($msg),$msg);
然後将$buf送至对方server。同样对方可用unpack(‘NA*’,$buf)取得送出的数据。

Floating Point Numbers:
‘f’: float (A single-precision float in the native format)
‘d’:double(A double-precision float in the native format)
对於浮点数(float point)可以使用f或d来作pack与unpack动作。

奇特的例子:
Bit Strings:
String中都是0或1,对其作pack/unpack的转换,需要注意那一系列的0/1,与每八个bit一个字元的顺序性。假设今天有个string等於 ”10001100”可以用下列方式:
$byte = pack( 'B8', '10001100' ); # start with MSB
$byte = pack( 'b8', '00110001' ); # start with LSB

b A bit string (ascending bit order inside each byte, like vec()).(渐增)
B A bit string (descending bit order inside each byte).(渐减)
如果要对string中的一部份bits作pack/unpack是不可能的,因为pack会从最旁边开始,然後以8个bits为一组,如果不足八个则补0。

   +-----------------+-----------------+
   | S Z - A - P - C | - - - - O D I T |
   +-----------------+-----------------+
    MSB           LSB MSB           LSB  
例子:如上图中「-」表示保留的bit,不使用。

将上列这2 bytes 转换成一个string,可以利用’b16’来作:
#!usr/bin/perl
$status = "1101010100001111";
$ps= pack('b16',$status);
print "$ps/n";
$status=unpack('b16',$ps);
print "$status/n";
@aa = split(//,$status);
print "@aa/n";
#---简化
#---可取得各个bit的数值
($carry, undef, $parity, undef, $auxcarry, undef, $sign,
$trace, $interrupt, $direction, $overflow) =
split( //, unpack( 'b16', $status ) );

如果使用’b12’则,後面的4个bit会被忽略并不会被使用。

Uuencode:(Unix-To-Unix Encode)
如果对於UNIX很熟悉的,应该知道uuencode与uudecode是干什麽用的,他可视为早期UNIX之间互相传送资料,所用的一种编码方法,将文件编码,以便利於在早期的网路上传送资料,现在很少使用,但是有时还是有人会用到,编码原理:取出三个bytes,将之切割成6份,每份4个bits,然後在後面填入/x20,如此直到整个文件编码完成。Pack可使用’u’作这件事情。

my $uubuf = pack( 'u', $bindat );

计算总和:(Do Sums)
pack中有个特殊的template,%<number>;专门用来计算总和的,但是他不能在pack中使用,而且他只能用於其他数字的前置位置(prefix)。

用於数字时:
my $buf = pack( 'iii', 100, 20, 3 );
print unpack( '%32i3', $buf ), "/n"; # prints 123
用於字串时:
print unpack( '%32A*', "/x01/x10" ), "/n"; # prints 17
上面两个例子,%会将後面i3、A*加总起来,得到最後结果123与17,这可以用来得到最後的check sum。另外不要太相信他所得到的数值,因为他们无法保证正确(?)。
用来取得netmask的bits数目:
my $bitcount = unpack( '%32b*', $mask );


my $evenparity = unpack( '%1b*', $mask );
取得evenparity的数值…mask=pack(‘b*’,”11111111111111111…0”);

Unicode:
$UTF8{Euro} = pack( 'U', 0x20AC );


欧洲用字编码/0x20AC,其UTF8的编码字元为$URF{Euro}。
# pack and unpack the Hebrew alphabet
my $alefbet = pack( 'U*', 0x05d0..0x05ea );
my @hebrew = unpack( 'U*', $utf );
用於pack/unpack unicode编码

另一种Portable编码:
w A BER compressed integer. Its bytes represent an unsigned integer in base 128, most significant digit first, with as few digits as possible. Bit eight (the high bit) is set on each byte except the last.

my $berbuf = pack( 'w*', 1, 128, 128+1, 128*128+127 );


长度与宽度(Length and Width)
字串长度(String Length)
在传送网路资料时,往往需要将资料的长度放在封包的标头处,让对方Server知道後续还有多少资料需要处理:下列例子为两个null terminated字串加上资料长度,再加上资料,得到最後要送出的资料。
Z:A null terminated (ASCIZ) string, will be null padded.
my $msg = pack( 'Z*Z*CA*', $src, $dst, length( $sm ), $sm );

而要取出资料可以用下列方式:
( $src, $dst, $len, $sm ) = unpack( 'Z*Z*CA*', $msg );


但是,如果我们在pack後面加上另一个C,则在unpack时,会无法正确得到资料。因为A*会把所有的剩余character都抓给$sm,而使得$prio变成无定义。
# pack a message
my $msg = pack( 'Z*Z*CA*C', $src, $dst, length( $sm ), $sm, $prio );

# unpack fails - $prio remains undefined!
( $src, $dst, $len, $sm, $prio ) = unpack(


因此可以使用下列方式取得资料:
# pack a message: ASCIIZ, ASCIIZ, length/string, byte
my $msg = pack( 'Z* Z* C/A* C', $src, $dst, $sm, $prio );

# unpack
( $src, $dst, $sm, $prio ) = unpack( 'Z* Z* C/A* C', $msg );

加上”/”符号,可以使得perl在pack A*会记住$sm的长度,然後後续的$prio就可以区别出来储存,而在unpack时,就可以依照$sm的长度,而将$sm的资料取出,剩下来的就是$prio的资料。”/”只有在後面接上A*、a*、Z*时有意义。
“/”表示後面A*的长度,占1个byte
# pack a message: ASCIIZ, ASCIIZ, length/string, byte
my $msg = pack( 'Z* Z* C/A* C', $src, $dst, $sm, $prio );

# unpack
( $src, $dst, $sm, $prio ) = unpack( 'Z* Z* C/A* C', $msg );

“/”可以代表任何数字,用以表示其後A*的长度
# pack/unpack a string preceded by its length in ASCII
my $buf = pack( 'A4/A*', "Humpty-Dumpty" );
# unpack $buf: '13 Humpty-Dumpty'
my $txt = unpack( 'A4/A*', $buf );

“/”在perl 5.6以後才出现,之前版本并不支援。针对旧版本需要做如下修改已取得长度。
# pack a message: ASCIIZ, ASCIIZ, length, string, byte (5.005 compatible)
my $msg = pack( 'Z* Z* C A* C', $src, $dst, length $sm, $sm, $prio );

# unpack
( undef, undef, $len) = unpack( 'Z* Z* C', $msg );#--先取得长度
#--依照长度设定A的长度
($src, $dst, $sm, $prio) = unpack ( "Z* Z* x A$len C", $msg );


Dynamic Template
从前面到现在我们看到的都是有固定长度的范例,但是如果碰到没有固定长度的怎麽办?以下有个例子来说明:
my $env = pack( 'A*A*Z*' x keys( %Env ) . 'C',
map( { ( $_, '=', $Env{$_} ) } keys( %Env ) ), 0 );

为了方便让C来Parsing这个string,所以利用两个string与一个null terminated字串,利用map将$ENV中的参数读出来,然後利用(AAA,=,BBB)的方式,储存成一个array,然後传给pack,然後pack利用”A*A*Z*将AAA,=,BBB给打包起来,keys(%ENV)表示ENV hash总共有多少个$element在里面。最後为了方便C parsing,在最後面加上一个”0”。
my $n = $env =~ tr//0// - 1;
my %env = map( split( /=/, $_ ), unpack( 'Z*' x $n, $env ) );

而在unpack时,要先算出$env里面到底有多少个$element在里面,这可以透过tr来计算。 
### 回答1: Python中的struct模块是用来处理二进制数据的,它可以将数据转换成字节流进行打包和解包操作。下面是一些常见的用法说明: 1. struct.pack(format, v1, v2, ...):将数据按照格式(format)进行打包,返回打包后的字节流。 2. struct.unpack(format, buffer):按照格式(format)对字节流进行解包,返回解包后的元组。 3. struct.calcsize(format):计算格式(format)所对应的字节流的长度。 4. format格式说明: - 'x':表示一个字节的填充值 - 'b':表示有符号的字节类型 - 'B':表示无符号的字节类型 - 'h':表示有符号的短整型 - 'H':表示无符号的短整型 - 'i':表示有符号的整型 - 'I':表示无符号的整型 - 'l':表示有符号的长整型 - 'L':表示无符号的长整型 - 'f':表示单精度浮点型 - 'd':表示双精度浮点型 - 's':表示字符串类型,需要指定长度 - 'p':表示Pascal字符串类型,需要指定长度 - 'q':表示有符号的长长整型 - 'Q':表示无符号的长长整型 例如,将一个整数和一个浮点数打包成字节流的代码如下: ```python import struct i = 10 f = 3.14 buf = struct.pack('if', i, f) print(buf) ``` 输出结果为: ``` b'\n\x00\x00\x00\x9d\x0f\x49\x40' ``` 解释一下:'\n'的ASCII码为10,是整数i的字节表示,'\x00\x00\x00'是浮点数f的字节表示,'\x9d\x0f\x49\x40'是浮点数f的剩余字节表示。 ### 回答2: Python的struct模块提供了一种在Python中处理二进制数据的方式。它允许我们将数据打包成一个字符串,或者从一个字符串中解包数据。下面是对struct模块的用法说明: 1. 打包数据: 打包是将多个变量按照指定的格式编码成一个字符串的过程。我们可以使用struct.pack()方法来执行打包操作。该方法的参数是一个格式字符串和对应的变量,格式字符串指定了如何编码数据。例如,'i'代表一个整数,'f'代表一个浮点数。 示例: ``` import struct # 将一个整数和一个浮点数打包成一个字符串 data = struct.pack('if', 123, 3.14) print(data) ``` 输出: ``` b'{\x00\x00\x00\xcd\xcc\x0c@' ``` 2. 解包数据: 解包是将一个字符串按照指定的格式解码为多个变量的过程。我们可以使用struct.unpack()方法来执行解包操作。该方法的参数是一个格式字符串和对应的字符串,格式字符串指定了如何解码数据。 示例: ``` import struct # 将一个字符串解包为一个整数和一个浮点数 data = b'{\x00\x00\x00\xcd\xcc\x0c@' unpacked_data = struct.unpack('if', data) print(unpacked_data) ``` 输出: ``` (123, 3.140000104904175) ``` 3. 格式字符串的使用: 格式字符串可以包含多个格式说明符,每个格式说明符代表一个数据类型。常用的格式说明符有: - 'i'代表4字节整数 - 'f'代表4字节浮点数 - 's'代表一个字符串(默认为字节字符串) 可以通过添加数字来指定数据类型的大小,例如'i2'代表一个2字节的整数。还可以使用特殊字符表示数据类型的大小和对齐方式。 总之,struct模块提供了一种方便的方式来处理二进制数据。我们可以使用它来打包和解包数据,以及指定数据的格式和大小。这在网络通信、文件读写和数据存储方面都非常有用。 ### 回答3: struct是Python中用于处理二进制数据的模块,它提供了一些函数来处理不同类型的数据,并将其打包成二进制字符串。 使用struct模块的第一步是使用pack函数将数据打包成二进制字符串。pack函数使用一个格式化字符串来描述数据的结构,其中包含指示数据类型和其相应的大小的字符。例如,格式化字符串“i”表示一个整数,大小为4个字节。使用pack函数可以将整数打包成4个字节的二进制字符串。 接下来,我们可以使用unpack函数来解析打包后的二进制字符串,将其转换回原来的数据类型。unpack函数需要使用相同的格式化字符串来解析二进制字符串。例如,使用格式化字符串“i”,可以将4个字节的二进制字符串解析为一个整数。 此外,struct模块还提供了其他一些函数,如calcsize函数用于计算给定格式化字符串所需的字节数,以及byteorder函数用于指定字节顺序(大端或小端)。 总结起来,struct模块提供了一种方便的方法来处理二进制数据。它可以将不同类型的数据打包成二进制字符串,并将其解析为原始数据类型。这对于涉及网络编程、文件处理和底层数据交换的应用程序非常有用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值