PHP 里进行字符串 Unicode 编码并正确截短的方法

在 PHP 与其它语言互相调用传输数据的时候，经常会遇到字符串编码的问题。比如我最近使用 go 语言开发的一个 RPC 服务，在使用 PHP 作为客户端调用的时候，传输的对象数据就使用了 json_encode 来进行序列化，

源字符串：

> 测试41
> {"json":['test json 测试json串格式'不对'}

它序列化后得到的内容应该类似下面的：

> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}

这个序列化看起来没有问题，我们可以很方便的用 json_decode 来获得原始字符串。

但是因为我的服务需要限制字符串长度，也就是说如果超出限制的字符串，会被截短，类似下面的：

> 测试41
> {"json":['test json 测试...

这里出现的问题，首先是截短的字符串长度不是预期的长度。为什么呢？因为 PHP 客户端如果在序列化之前就按限制长度来截短字符串，那么截短后的字符串序列化之后的长度肯定与源字符串序列化之后才截短的结果不一致。

假定我们限制长度为50（个单字节字符），我们撰写一个下面的脚本来展示一下截短序列化之前和之后的结果：

<?php

$str1 = "> 测试41\n> {\"json\":['test json 测试json串格式'不对'}";

$str2 = json_encode($str1);

echo "str1: ".$str1."\n";
echo "Length of str1: ".strlen($str1)."\n\n";

echo "str2: ".$str2."\n";
echo "Length of str2: ".strlen($str2)."\n\n";

echo "MultiByte Length of str1: ".mb_strlen($str1)."\n\n";

$limit = 50;

$cut1 = substr($str1, 0, $limit);
$cut2 = substr($str2, 0, $limit);
$cut3 = mb_substr($str1, 0, $limit);

echo "cut1: ".$cut1."\n";
echo "Encode cut1: ".json_encode($cut1)."\n";
echo "Length of encoded cut1: ".strlen(json_encode($cut1))."\n\n";

echo "cut2: ".$cut2."\n";
echo "Length of cut2: ".strlen($cut2)."\n\n";

echo "cut3: ".$cut3."\n";
echo "Encode cut3: ".json_encode($cut3)."\n";
echo "Length of encoded cut3: ".strlen(json_encode($cut3))."\n\n";

该脚本的运行结果如下：

str1: > 测试41
> {"json":['test json 测试json串格式'不对'}
Length of str1: 61

str2: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}"
Length of str2: 93

MultiByte Length of str1: 43

cut1: > 测试41
> {"json":['test json 测试json串格�
Encode cut1: 
Length of encoded cut1: 0

cut2: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\
Length of cut2: 50

cut3: > 测试41
> {"json":['test json 测试json串格式'不对'}
Encode cut3: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}"
Length of encoded cut3: 93

可以看到源字符串被截短后，再 json_encode 出了问题，得到的序列化结果为空字符串……

但是如果我们用 mbstring 的方法来衡量和截短字符串，其序列化之后的字符串长度超出了我们的限制……

所以，正确的做法是 先对字符串进行序列化，然后根据限制截短字符串。这样能够确保字符串在不同的语言里处理都能有一致的结果。

网络上有很多序列化 Unicode 字符串的方法，但经过测试我发现，如果截短后都可能因为包含 JSON 的特殊符号大括号、中括号或其它符号，导致反序列化出现问题。最后经过尝试，我利用 PHP 的 JSON 模块实现了如下的编码方法：

<?php
//将内容进行UNICODE编码
function unicode_encode($str){
    $pattern = '/([\[\]\{\}])/i';
    $replacement = '\\\\${1}';
    $str = preg_replace($pattern, $replacement, $str);

    $str = '{"str":"'. $str.'"}';
    $encode = json_encode($str);
    return substr($encode, 12, -4);
}

//将UNICODE编码后的内容进行解码
function unicode_decode($unicode_str){
    //避免一半 unicode 截断的情况
    $cut_pos_check = strrpos($unicode_str, '\u', 0);
    if(strlen($unicode_str) - $cut_pos_check < 6) { // unicode 编码都是 6 个字节：\uxxxx
        $unicode_str = substr($unicode_str, 0, $cut_pos_check);
    }

    if(substr($unicode_str, -1) == "\\" && substr($unicode_str, -2, 1) != "\\") {  //去掉截断最后为 \ 且不是 \\ 的情况
        $unicode_str = substr($unicode_str, 0, -1);
    }

    $json = '{"str":"'.$unicode_str.'"}';
    $obj = json_decode($json);
    if(empty($obj)) return '';
    return $obj->str;
}

//截断字符串
function cutData($data, $occupied, $limit) {
    if($limit < 0) $limit = intval($this->config->ratchet->msglimit);

    $msglimit = $limit - $occupied;   //有些必须占用的长度去掉
    echo(date("Y-m-d h:i:s")." Msg length: ".strlen($data)."\n");
    echo(date("Y-m-d h:i:s")." Msg limit: ".$msglimit."\n");

    $tmp = preg_replace("/\&nbsp\;/", " ", unicode_encode(trim(htmlspecialchars_decode($data))));    //编码为Unicode
    $encoded_len = strlen($tmp);
    echo(date("Y-m-d h:i:s")." Unicode Encoded: ".$tmp."\n\n");
    echo(date("Y-m-d h:i:s")." Unicode Encoded Msg length: ".$encoded_len."\n");

    if($encoded_len > $msglimit) {  //超出限制长度
        $sub = substr($tmp, 0, $msglimit);

        echo(date("Y-m-d h:i:s")." Substring: ".$sub."\n\n");
        echo(date("Y-m-d h:i:s")." Unicode Decoded: ".unicode_decode($sub)."\n\n");
        return unicode_decode($sub) . "...";   //返回截短后的解码字符串
    }

    return preg_replace("/\&nbsp\;/", " ", $data);
}

再用一个测试脚本测试一下：

<?php
$str1 = "> 测试41\n> {\"json\":['test json 测试json串格式'不对'}";

$str2 = unicode_encode($str1);

echo "str1: ".$str1."\n";
echo "Length of str1: ".strlen($str1)."\n\n";

$limit = 50;

$cut = cutData($str1, 0, $limit);

echo "cut: ".$cut."\n";

结果类似下面的：

str1: > 测试41
> {"json":['test json 测试json串格式'不对'}
Length of str1: 61

2021-08-28 11:18:26 Msg length: 61
2021-08-28 11:18:26 Unicode Encoded: > \u6d4b\u8bd541\n> \\{\"json\":\\['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'\\}

2021-08-28 11:18:26 Unicode Encoded Msg length: 97
2021-08-28 11:18:26 Msg limit: 50
2021-08-28 11:18:26 Substring: > \u6d4b\u8bd541\n> \\{\"json\":\\['test json \u6d

2021-08-28 11:18:26 Unicode Decoded: > 测试41
> \{"json":\['test json 

cut: > 测试41
> \{"json":\['test json ...