php解压代码错误,php解压有时会失败

最新推荐文章于 2021-04-07 06:04:07 发布
最新推荐文章于 2021-04-07 06:04:07 发布
阅读量415 收藏
点赞数
文章标签： php解压代码错误

采集一个网站的数据时，返回的是以chunked编码，gzip压缩的文档，该网站的服务器显示是IIS，。。。

解码chunked没问题，但是解压gzip压缩文档时，偶尔会失败，这样就影响我提取下一组请求连接了。。。

解压10组左右，就会出现解压失败的情况。。

这是解压前的数据：

解压后的数据：

显然在最后一组，解压失败了。。

这是尝试用过的三组方法：

private function _deCompressData() { if($this->is_gzip) { $this->response_body = gzinflate(substr($this->response_body,10)); // // if($temp = gzdecode($this->response_body)) {// $this->response_body = $temp;// } else {// $this->response_body = $this->mygzdecode($this->response_body);// } //$this->response_body = $this->mygzdecode($this->response_body); // $this->response_body = gzdecode($this->response_body); } }

mygzdecode函数是这一个

/** * @desc 自定义解压函数 */ function mygzdecode($data, &$filename = '', &$error = '', $maxlength = null) { $len = strlen($data); if ($len < 18 || strcmp(substr($data, 0, 2), "\x1f\x8b")) { $error = "Not in GZIP format."; return null; // Not GZIP format (See RFC 1952) } $method = ord(substr($data, 2, 1)); // Compression method $flags = ord(substr($data, 3, 1)); // Flags if ($flags & 31 != $flags) { $error = "Reserved bits not allowed."; return null; } // NOTE: $mtime may be negative (PHP integer limitations) $mtime = unpack("V", substr($data, 4, 4)); $mtime = $mtime[1]; $xfl = substr($data, 8, 1); $os = substr($data, 8, 1); $headerlen = 10; $extralen = 0; $extra = ""; if ($flags & 4) { // 2-byte length prefixed EXTRA data in header if ($len - $headerlen - 2 < 8) { return false; // invalid } $extralen = unpack("v", substr($data, 8, 2)); $extralen = $extralen[1]; if ($len - $headerlen - 2 - $extralen < 8) { return false; // invalid } $extra = substr($data, 10, $extralen); $headerlen += 2 + $extralen; } $filenamelen = 0; $filename = ""; if ($flags & 8) { // C-style string if ($len - $headerlen - 1 < 8) { return false; // invalid } $filenamelen = strpos(substr($data, $headerlen), chr(0)); if ($filenamelen === false || $len - $headerlen - $filenamelen - 1 < 8) { return false; // invalid } $filename = substr($data, $headerlen, $filenamelen); $headerlen += $filenamelen + 1; } $commentlen = 0; $comment = ""; if ($flags & 16) { // C-style string COMMENT data in header if ($len - $headerlen - 1 < 8) { return false; // invalid } $commentlen = strpos(substr($data, $headerlen), chr(0)); if ($commentlen === false || $len - $headerlen - $commentlen - 1 < 8) { return false; // Invalid header format } $comment = substr($data, $headerlen, $commentlen); $headerlen += $commentlen + 1; } $headercrc = ""; if ($flags & 2) { // 2-bytes (lowest order) of CRC32 on header present if ($len - $headerlen - 2 < 8) { return false; // invalid } $calccrc = crc32(substr($data, 0, $headerlen)) & 0xffff; $headercrc = unpack("v", substr($data, $headerlen, 2)); $headercrc = $headercrc[1]; if ($headercrc != $calccrc) { $error = "Header checksum failed."; return false; // Bad header CRC } $headerlen += 2; } // GZIP FOOTER $datacrc = unpack("V", substr($data, -8, 4)); $datacrc = sprintf('%u', $datacrc[1] & 0xFFFFFFFF); $isize = unpack("V", substr($data, -4)); $isize = $isize[1]; // decompression: $bodylen = $len - $headerlen - 8; if ($bodylen < 1) { // IMPLEMENTATION BUG! return null; } $body = substr($data, $headerlen, $bodylen); $data = ""; if ($bodylen > 0) { switch ($method) { case 8: // Currently the only supported compression method: $data = gzinflate($body, $maxlength); break; default: $error = "Unknown compression method."; return false; } } // zero-byte body content is allowed // Verifiy CRC32 $crc = sprintf("%u", crc32($data)); $crcOK = $crc == $datacrc; $lenOK = $isize == strlen($data); if (!$lenOK || !$crcOK) { $error = ( $lenOK ? '' : 'Length check FAILED. ') . ( $crcOK ? '' : 'Checksum FAILED.'); return false; } return $data; }

也就是说，连续解压时，会出现解压失败的情况

回复讨论(解决方案)

php 已经提供了 gzdecode 函数

如果你的 php 版本实在很低，没有 gzdecode 函数

那么 php 代码级的 gzdecode 函数是function gzdecode($data) { $len = strlen($data); if ($len < 18 || strcmp(substr($data,0,2),"\x1f\x8b")) { return $data; // Not GZIP format (See RFC 1952) } $method = ord(substr($data,2,1)); // Compression method $flags = ord(substr($data,3,1)); // Flags if ($flags & 31 != $flags) { // Reserved bits are set -- NOT ALLOWED by RFC 1952 return data; } // NOTE: $mtime may be negative (PHP integer limitations) $mtime = unpack("V", substr($data,4,4)); $mtime = $mtime[1]; $xfl = substr($data,8,1); $os = substr($data,8,1); $headerlen = 10; $extralen = 0; $extra = ""; if ($flags & 4) { // 2-byte length prefixed EXTRA data in header if ($len - $headerlen - 2 < 8) { return false; // Invalid format } $extralen = unpack("v",substr($data,8,2)); $extralen = $extralen[1]; if ($len - $headerlen - 2 - $extralen < 8) { return false; // Invalid format } $extra = substr($data,10,$extralen); $headerlen += 2 + $extralen; } $filenamelen = 0; $filename = ""; if ($flags & 8) { // C-style string file NAME data in header if ($len - $headerlen - 1 < 8) { return false; // Invalid format } $filenamelen = strpos(substr($data,8+$extralen),chr(0)); if ($filenamelen === false || $len - $headerlen - $filenamelen - 1 < 8) { return false; // Invalid format } $filename = substr($data,$headerlen,$filenamelen); $headerlen += $filenamelen + 1; } $commentlen = 0; $comment = ""; if ($flags & 16) { // C-style string COMMENT data in header if ($len - $headerlen - 1 < 8) { return false; // Invalid format } $commentlen = strpos(substr($data,8+$extralen+$filenamelen),chr(0)); if ($commentlen === false || $len - $headerlen - $commentlen - 1 < 8) { return false; // Invalid header format } $comment = substr($data,$headerlen,$commentlen); $headerlen += $commentlen + 1; } $headercrc = ""; if ($flags & 1) { // 2-bytes (lowest order) of CRC32 on header present if ($len - $headerlen - 2 < 8) { return false; // Invalid format } $calccrc = crc32(substr($data,0,$headerlen)) & 0xffff; $headercrc = unpack("v", substr($data,$headerlen,2)); $headercrc = $headercrc[1]; if ($headercrc != $calccrc) { return false; // Bad header CRC } $headerlen += 2; } // GZIP FOOTER - These be negative due to PHP's limitations $datacrc = unpack("V",substr($data,-8,4)); $datacrc = $datacrc[1]; $isize = unpack("V",substr($data,-4)); $isize = $isize[1]; // Perform the decompression: $bodylen = $len-$headerlen-8; if ($bodylen < 1) { // This should never happen - IMPLEMENTATION BUG! return null; } $body = substr($data,$headerlen,$bodylen); $data = ""; if ($bodylen > 0) { switch ($method) { case 8: // Currently the only supported compression method: $data = gzinflate($body); break; default: // Unknown compression method return false; } } else { // I'm not sure if zero-byte body content is allowed. // Allow it for now... Do nothing... } // Verifiy decompressed size and CRC32: // NOTE: This may fail with large data sizes depending on how // PHP's integer limitations affect strlen() since $isize // may be negative for large sizes. if ($isize != strlen($data) || crc32($data) != $datacrc) { // Bad format! Length or CRC doesn't match! return false; } return $data; }

自己对比一下，看看是否是你抄写错了

既然函数会在 传入长度 和 crc32 校验失败时返回假，那么你就应该判断一下再进行下一步工作

php 已经提供了 gzdecode 函数

如果你的 php 版本实在很低，没有 gzdecode 函数

那么 php 代码级的 gzdecode 函数是function gzdecode($data) { $len = strlen($data); if ($len < 18 || strcmp(substr($data,0,2),"\x1f\x8b")) { return $data; // Not GZIP format (See RFC 1952) } $method = ord(substr($data,2,1)); // Compression method $flags = ord(substr($data,3,1)); // Flags if ($flags & 31 != $flags) { // Reserved bits are set -- NOT ALLOWED by RFC 1952 return data; } // NOTE: $mtime may be negative (PHP integer limitations) $mtime = unpack("V", substr($data,4,4)); $mtime = $mtime[1]; $xfl = substr($data,8,1); $os = substr($data,8,1); $headerlen = 10; $extralen = 0; $extra = ""; if ($flags & 4) { // 2-byte length prefixed EXTRA data in header if ($len - $headerlen - 2 < 8) { return false; // Invalid format } $extralen = unpack("v",substr($data,8,2)); $extralen = $extralen[1]; if ($len - $headerlen - 2 - $extralen < 8) { return false; // Invalid format } $extra = substr($data,10,$extralen); $headerlen += 2 + $extralen; } $filenamelen = 0; $filename = ""; if ($flags & 8) { // C-style string file NAME data in header if ($len - $headerlen - 1 < 8) { return false; // Invalid format } $filenamelen = strpos(substr($data,8+$extralen),chr(0)); if ($filenamelen === false || $len - $headerlen - $filenamelen - 1 < 8) { return false; // Invalid format } $filename = substr($data,$headerlen,$filenamelen); $headerlen += $filenamelen + 1; } $commentlen = 0; $comment = ""; if ($flags & 16) { // C-style string COMMENT data in header if ($len - $headerlen - 1 < 8) { return false; // Invalid format } $commentlen = strpos(substr($data,8+$extralen+$filenamelen),chr(0)); if ($commentlen === false || $len - $headerlen - $commentlen - 1 < 8) { return false; // Invalid header format } $comment = substr($data,$headerlen,$commentlen); $headerlen += $commentlen + 1; } $headercrc = ""; if ($flags & 1) { // 2-bytes (lowest order) of CRC32 on header present if ($len - $headerlen - 2 < 8) { return false; // Invalid format } $calccrc = crc32(substr($data,0,$headerlen)) & 0xffff; $headercrc = unpack("v", substr($data,$headerlen,2)); $headercrc = $headercrc[1]; if ($headercrc != $calccrc) { return false; // Bad header CRC } $headerlen += 2; } // GZIP FOOTER - These be negative due to PHP's limitations $datacrc = unpack("V",substr($data,-8,4)); $datacrc = $datacrc[1]; $isize = unpack("V",substr($data,-4)); $isize = $isize[1]; // Perform the decompression: $bodylen = $len-$headerlen-8; if ($bodylen < 1) { // This should never happen - IMPLEMENTATION BUG! return null; } $body = substr($data,$headerlen,$bodylen); $data = ""; if ($bodylen > 0) { switch ($method) { case 8: // Currently the only supported compression method: $data = gzinflate($body); break; default: // Unknown compression method return false; } } else { // I'm not sure if zero-byte body content is allowed. // Allow it for now... Do nothing... } // Verifiy decompressed size and CRC32: // NOTE: This may fail with large data sizes depending on how // PHP's integer limitations affect strlen() since $isize // may be negative for large sizes. if ($isize != strlen($data) || crc32($data) != $datacrc) { // Bad format! Length or CRC doesn't match! return false; } return $data; }

我的是PHP 5.6 ，

gzinflate(substr($this->response_body,10));

gzdecode($this->response_body)

mygzdecode($this->response_body);

这三种方法都可以用，但都遇到同一个问题，连续解压时，会出现解压失败的问题。

大婶，新年快乐哈

自己对比一下，看看是否是你抄写错了

既然函数会在 传入长度 和 crc32 校验失败时返回假，那么你就应该判断一下再进行下一步工作

好的。

在网络上传输的数据，出现错误是不可避免的，但概率不高

重读一下，通常就可以了

主要是你要有容错策略

自己对比一下，看看是否是你抄写错了

既然函数会在 传入长度 和 crc32 校验失败时返回假，那么你就应该判断一下再进行下一步工作

// Verifiy CRC32

$crc = sprintf("%u", crc32($data));

$crcOK = $crc == $datacrc;

$lenOK = $isize == strlen($data);

if (!$lenOK || !$crcOK) {

$this->status = ( $lenOK ? '' : 'Length check FAILED. ') . ( $crcOK ? '' : 'Checksum FAILED.');

return false;

}

return $data;

检测出来了，是这里校验失败了。。。

对链接http://www.cnu.cc/works/111706发起请求

Length check FAILED. Checksum FAILED.

在网络上传输的数据，出现错误是不可避免的，但概率不高

重读一下，通常就可以了

主要是你要有容错策略

对。。。 这个地方确实需要加强。。。只做了重置连接，没有对收到数据的完整性做校验。。

在网络上传输的数据，出现错误是不可避免的，但概率不高

重读一下，通常就可以了

主要是你要有容错策略

OK了，连续采集10分钟，没出问题 。。。THX，，摸摸大

传输过程出问题，导致部分数据没有了，而解压失败。

把需要解压的文件加入解压列表，每隔5秒-10秒判断解压文件是否变化，如无变化，则解压，解压失败做标记，继续下一个解压。

传输过程出问题，导致部分数据没有了，而解压失败。

本文原创发布php中文网，转载请注明出处，感谢您的尊重！

林小木木
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
php 解压不了,PHP 解压缩 还是不会。。求解决
weixin_34741145的博客
03-20 155
在PHP中 一个压缩包上传，我已经能够解压开来。现在如何在解压的同时重命名，并且放到另一个目录下啊？请大神指教。解压程式$zip = zip_open("/php/test/test.zip");if ($zip) {while ($zip_entry = zip_read($zip)) {$fp = fopen("/php/".zip_entry_name($zip_entry), 'w');i...
解决PHP开启Gzip页面没有输出的故障
经验之谈，不做搬运工
01-18 315
启用gzip可以将文件压缩到原来的约1/4，也就是速度可以提高到原来的4倍，使用流量将减少到原来的1/4。弄了一个纯文本的html测试，原文件1.6M，竟然压缩掉99%！可见gzip的优势。 打开php.ini，添加下面语句即可为全站的php文件启用gzip加速： output_buffering = Off output_handler = zlib.output_com...
php服务器配置失败了,解决php内部服务器错误的方法
weixin_35952352的博客
03-09 960
解决php内部服务器错误的方法发布时间：2020-05-08 15:47:12来源：亿速云阅读：224作者：Leah本篇文章主要探讨php内部服务器错误的解决方法。有一定的参考价值，有需要的朋友可以参考一下，希望对大家有所帮助。php内部服务器错误？一、可能是php配置问题php.inishort_open_tag = Off改为 short_open_tag = On二、可能是系统问题，请使用如...
php gzdecode,gzip解码函数gzdecode()
weixin_35513543的博客
03-12 1321
最近采集土豆，发现土豆的页面貌似用了gzip，当使用file_get_contents()获取得到的是一些乱码，当时试着将页面的编码改来改去，但还是不行，想到了以前碰到类似的情况，好吧，果然。分析：大概有2种情况，1是自身的页面编码，和获取的页面编码不一致。另外的一种情况就是，目标页面用了gzip技术。用以下的函数可解决这个问题：function gzdecode($data) {$len = s...
php解压文件代码实现php在线解压
10-26
本文将深入解析给定的代码片段，并详细解释如何实现PHP在线解压功能。 首先，我们需要引入PHP的内置ZipArchive类。这个类提供了处理ZIP文件的各种方法，包括打开、读取、写入和关闭ZIP档案。以下代码展示了如何使用...
PHP Zip解压 文件在线解压缩的函数代码
10-29
在这段代码中，我们首先定义了一个名为unzip_file的函数，该函数接受两个参数：$file为待解压的ZIP文件路径，$destination为解压后文件存放的目标目录。 函数内部首先创建了一个ZipArchive对象，然后使用该对象的...
PHP网页解压代码unzip.php
09-06
可通过网页形式解压zip文件，可在代码中设置密码，网页直接选择同目录下的文件并设置解压路径。
php实现zip文件解压操作
10-23
PHP解压zip文件的方法通常依赖于ZipArchive类，这是一种内置在PHP中的类，可以用来创建、修改、解压ZIP压缩文件。在本文档中，我们将会了解到如何利用ZipArchive类来解压ZIP文件。 首先，实现PHP解压zip文件的前提...
php木马特征,木马文件特征关键字
weixin_31321157的博客
03-21 453
木马文件特征关键字*fsockopen**base64_decode**$_POST**$_GET**eval*(*gzuncompress**eval*(*gzinflate**eval*(*hex2bin*(**eval*(*base64_decode*(**eval*urldecode**urldecode*eval**server*createobject*WScript.ShellWsc...
ios与php服务器gzip压缩问题,iOS gzip压缩到PHP
weixin_32540969的博客
04-07 205
我正在通过POST将大量文本发送到我的网页上,而这是PHP收到的.大约500kb-1.5 mb.问题在于它是非常重复的数据,我想对其进行压缩.数据看起来像这样,“ 123,123,123,124,124,124,125,126 …等”我找到了Geoggrey Garside http://cocoadev.com/wiki/NSDataCategory编写的NSData压缩库,其中包含gzipIn...
gzip解压函数gzdecode，采集得到的数据，乱码时使用
weixin_34023863的博客
01-10 421
2019独角兽企业重金招聘Python工程师标准>>> ...
PHP 解压文件 ZipArchive 中文文件名丢失/乱码问题
托塔天王的博客
08-12 3013
PHP 解压文件 ZipArchive 中文文件名丢失/乱码问题 PHP 解压中文或解压文件中 文件名存在中文 $file = $apiweb.$this->originFile; $zip = new \ZipArchive(); $openRes = $zip->open($file); if ($openRes === true) { $docnum = $zip->numFiles; for($i = 0; $i < $docnum; $i++) ...
phprpc的使用示例以及报错Fatal error: Cannot redeclare gzdecode() in D:\wamp\www\immoc\phprpc\compat.php 处理
飞越蓝天的专栏
07-19 4543
今天看书，发现了PHPRPC这个好东东，故在此写下来以作笔记。         PHPRPC 是一个轻型的、安全的、跨网际的、跨语言的、跨平台的、跨环境的、跨域的、支持复杂对象传输的、支持引用参数传递的、支持内容输出重定向的、支持分级错误处理的、支持会话的、面向服务的高性能远程过程调用协议。           下载地址:http://www.phprpc.org/zh_CN/download
php zip解压 unpack错误解决方案
BILL-博客-LLIB
07-13 2956
php zip.class.php 解压报 unpack错误解决方案 Type v: not enough input, need 2, have 0 zip unpack 解决办法正常的在win环境下是没问题的，但是在linux环境下就会报unpack() [function.unpack]: Type v: not enough input, need 2, have 0 in错误，解决办
PHP Zip文件解压类实现与操作详解
本文档提供了一个PHP编写的Zip文件解压类代码示例。该类名为`zip`，主要用于处理ZIP文件的读取和解压缩操作。以下是关键知识点的详细解释： 1. 类结构： - `class zip`: 定义了一个名为`zip`的PHP类，用于封装针对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值