hex2bin / bin2hex / pack / unpack 的理解及应用

文本文件 / 二进制文件 / 二进制bit流

计算机在存储或传输数据时都是以 bit 流的形式(二进制),文本文件和二进制文件的主要区别就是在于文本文件是有字符集的,ascii/utf8/utf16 等,读取时会将二进制流解码成对应的字符集字符。而二进制文件则简单的将数据作为二进制流处理,使用文本编辑器打开时,ascii解码,1byte 1byte 的处理并,有的落在ascii可打印字符中的就显示,没有落在其中的就是我们看到的乱码了。

例如

存储

ascii 文本数据 hello 存储的二进制流如下
存储的是每个字符的 ASCII 码
01101000 01100101 01101100 01101100 01101111

读取

按 ascii 文本文件读取
会依次读取 1byte 然后输出 ascii 码表对应的字符
为了便于比较我们这里读取 4byte 的数据
01101000 01100101 01101100 01101100
h--------e--------l--------l-------
按二进制流文件读取

可以读取 4byte 作为 uint 解析
二进制:01101000 01100101 01101100 01101100
十进制:|------------1751477356-----------|

可以读取 2byte 作为 usint 解析
二进制:01101000 01100101 01101100 01101100
十进制:|-----26725-----| |-----27756-----|

所以,文本文件和二进制文件的不同之处是解析方式不同,文本文件需要按照自身字符集,截取相应的字节长度读取,ascii 1byte, utf8 英文 1byte/中文 3byte, unicode 2byte 的方式去一段段的读取解析,二进制文件的话并没有表征性的字符集,你可以按自己的需要解析,比如第1 byte位代表的什么(unsigned short int / short int / ascii?),第2~3 byte位代表的什么,第n~k byte位代表的什么。

因为 ascii 的 char 和 int 的存储方式本质一致的(C语言里 char 类型本质就是 int),所以用多字节可能更好理解。

<?php
// uft8 存储中文字符使用 3byte 这里我们将其拆成字节码后分别获取对应的二进制
foreach (str_split("我") as $key => $chr) {
    echo sprintf("%08d", decbin(ord($char))) . ' ';
}
// result
11100110 10001000 10010001

所以,如果我们使用 utf8 字符集处理 11100110 10001000 10010001时,我们得到的是 “我”。

如果我们将其作为二进制文件处理的话得到的结果是int(15108241)数值。

<?php
// 将二进制字符串转为对应的十进制
echo bindec('111001101000100010010001');
//result
int(15108241)

hex2bin / bin2hex

其实这俩货让我迷惑了很久,很长一段时间我都不明白他俩到底有什么用,输出结果不难理解,还被同事的代码带过节奏,因为我看到他经常在发送数据前通过 bin2hex 转化一下再发送,我惯性的认为难不成可以压缩数据量?

而这一次,我很刻意的将 hex2bin写在了 bin2hex的前面。

hex2bin 打包

hex2bin(hexString)的作用是将字符串作为十六进制的模式进行处理,如何处理,"68656c6c6f"会被处理成"68" "65" "6c" "6c" "6f",然后转换成对应的二进制数值,"68"(注意是字符串 2bytes)转为二进制数值是 01101000(注意是数值 1byte),输出至终端其实就是h(1bytes)的,依次处理后,我们成功的将10bytes的字符串"68656c6c6f"转换成了5bytes的字符串"hello",只不过"hello"并不是我们真正需要的数据,虽然你对它很亲切。

不要被"hello"迷惑了,最初我看到它时很难把它和bin联系到一起。"hello"是你的编辑器对hex2bin后的二进制流进行处理时,把二进制流当做文本处理(它们是文本编辑器,自然会把数据作为文本处理),恰好能对应上可打印字符的ascii码,就显示了"hello",所以说文本和二进制文件底层都是bit流,看怎么处理了。

bin2hex 解包

bin2hex(binString)则是将待处理的数据的二进制bit串进行16进制转换,并返回相应的16进制形式的字符串,这里的bin是说会将其作为二进制流,转换成对应的十六进制流,然后再以对应的字符串方式返回。比如"h"二进制bit串01101000,对应的十六进制是 0x68,相应的字符串形式是"68",依次继续解包处理 "e" "l" "l" "o" 后得到的字符串就是"68656c6c6f"

所以我们如果想传输字符集在'0-9a-f'内的数据,可以使用 hex2bin打包数据至二进制流节省空间,然后传输完成后再通过bin2hex解包获得源数据。

hex2bin(hexString)/bin2hex(binString) 对应 pack("H*", hexString)/unpack("H*", binString)

pack/unpack

只要提供了socket编程的语言,肯定也同时提供了 pack/unpackpack/unpack的主要作用是方便我们将数据打包至二进制流,然后以二进制流的方式解包。

H 十六进制

将十六进制的字符串打包至二进制流字符串,这里有个很微妙的理解,比如字符串"68" 2bytes,如果作为十六进制则其对应的二进制是00110110,对应的ascii文本字符是"h" 1byte,传输后我们对h进行解包转为十六进制得到"68",这种打包-传输-解包的方式节省了一半的传输量。

比如我们有一串字符串数据"68656c6c6f",如果直接传输的话需要strlen("68656c6c6f") = 10 byte,你会发现这串数据完全符合十六进制模式,如果进行如下处理我们可以节省了一半的传输数据量。

<?php
// 符合十六进制的字符串 0-9a-f
$data = "68656c6c6f";
echo "src data len:" . strlen($data) . PHP_EOL;

// 发送端 将 16进制 的字符串打包至 2进制
$package = pack("H*", $data);

//如果你输出 $package 你会发现它是 "hello"
echo "packed data len:" . strlen($package) . PHP_EOL;

// 传输的数据量为 strlen($package) 个字节

// 接收端解包
$data = unpack("H*", $package);
var_dump($data);

以上功能可以用 hex2bin/bin2hex实现

<?php
// 符合十六进制的字符串 0-9a-f
$data = "68656c6c6f";

foreach (str_split($data) as $char) {
    echo sprintf("%08d", decbin(ord($char))) . ' ';
}
echo "data len: " . strlen($data) * 8 . ' bits' . PHP_EOL;

$package = hex2bin($data);
foreach (str_split($data) as $char) {
    echo sprintf("%08d", decbin(ord($char))) . ' ';
}
echo "package len: " . strlen($package) * 8 . ' bits' . PHP_EOL;

$data = bin2hex($package);
var_dump($data);

其实你会发现作为打包传输的数据是hello,这里可能有些反客为主的惯性思维,因为大部分时间对我们有意义的数据是hello而不是 68656c6c6f,但在这里68656c6c6f才是我们需要的数据,打包后得到的hello反而是压缩传输的中间数据。

n 无符号16位整形大端序 / N 无符号32位整形大端序

n是无符号短整型,固定2bytes,可以将0 ~ 65536内的数值用固定2bytes表示,比如 "65536"用字符串表示需要5bytes,以 n 模式打包至二进制后只需要 2bytes,节省了传输空间。

N是无符号整形,固定4bytes,可以将0~4294967296内的数值用固定4bytes表示。

当然,可能你的数值字符串是"0~99"的时候节省空间的优点并不明显,但另一个优点一直存在,那就是长度固定,在一些协议传输时dataLen . data的包结构是很需要dataLen是固定字节的数据。

比如

// package struct
00000000 00000001 00110110
|---dataLen 1---| |data h|

我们取数据包 package 的前2bytes解包后得到的数值就是数据包消息体的长度,如上所示长度为 1,后面的data即为1bytes 'h'

tcp流式数据时是很必须的,因为如果没有包长度声明,发送端连续发送多条消息,可能会导致粘包,接收端没办法正确的拆分消息:msg1msg2msg3 可能会被拆分成 "msg" "1msg2ms" "g3"

而声明了包长度后,我们可以先读取固定长度的字节获取到消息体长度,再读取相应长度的消息体内容。

<?php
$foo = "hello world";
$bar = "i am sqrt_cat";

$package = "";
// 使用 n 打包 固定2bytes
$fooLenn = pack("n", strlen($foo));
$package = $fooLenn . $foo;

$barLenn = pack("n", strlen($bar));
$package .= $barLenn . $bar;

// 传输 $package "fooLen . foo . barLen . bar"

// 取前 2bytes 按 n 解包
$fooLen = unpack("n", substr($package, 0, 2))[1];
// 使用包消息体长度定义读取消息体
// 从第 3byte 开始读 前 2bytes表示长度
$foo = substr($package, 2, $fooLen);
echo $foo . PHP_EOL;

// 0 ~ (2 + fooLen) - 1 字节序为 fooLen . foo
// (2 + fooLen) ~ (2 + fooLen) + 2 - 1 为 barLen
$barLen = unpack("n", substr($package, (2 + $fooLen), 2))[1];
$bar = substr($package, (2 + $fooLen) + 2, $barLen);
echo $bar . PHP_EOL;

这样就可以灵活的解析流数据,在一些情况下还节省了空间。

其他模式大家可以参考 https://segmentfault.com/a/1190000008305573

转载于:https://my.oschina.net/sallency/blog/3058570

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值