对大段的html 字符串,超过1M的字符串进行压缩。很神奇,也很方便
项目需求:在抓取到天猫页面的时候,往数据库的临时表中存入得数据不全面,考虑到是因为大小的原因,或者是JS加载原因。导致存不进去。
跟总监讨论这个问题,想出来采用压缩的方式,将压缩后的内容存入数据库,取出来的时候再解压缩。代码如下
$content = file_get_contents('./00001.txt'); // 此文件时一个1.1M的文件
/
//先对字符串进行压缩
$compressed = gzcompress($content, 9);//压缩级别为9
// 压缩完再对字符串进行加密 此时$compressed占用空间已经很小了
$compressed = base64_encode($compressed);
file_put_contents('./0002.txt',$compressed); // 这时得到的文件大小只有194kb
$str = base64_decode($compressed );// 再对其进行解密
$uncompressed = gzuncompress($str);// 再解压缩
file_put_contents('./00002.txt', $uncompressed);exit; // 解密过后的文件跟愿文件大小一样大
突然奇想,是不是压缩的次数越多,文件压缩的体积就越小呢?然后在多解密几次。岂不是更省数据库空间
经测试发现自己异想天开了
压缩不论你压缩多少次,只有第一次的时候压缩的体积最小,越压缩体积会越来越大