背景
我使用openresty+lua部署的nginx服务器,其中使用gzip针对数据包进行解压缩处理,然后再对部分数据修改完毕后,使用gzip进行压缩,然后再发送给接收端。
zlib参考如下
https://github.com/hamishforbes/lua-ffi-zlib
问题复现
在使用上述github的方法后,针对大部分请求都是能够成功进行解压与压缩,但是又部分页面一直会提示解压失败,错误log如下
INFLATE: Data error, no input bytes
解决思路
经过源码分析,可以确认zlib解压及压缩的过程是ok的,经过debug发现,web的请求包是Transfer-Encoding: chunked的方式,该方式会把数据包切割成一个个chunked包然后进行发送。
问题就出现在chunked包上,针对大部分的请求包,每一个chunked包就是一个完整的gzip包(完整的意思是该包有gzip的开始和结束标志位)。但是仍然有小部分数据是把一个完整的gzip包切割成了小块数据包,导致针对这些小块的数据包无法单独进行解压缩。
因此,需要对这些数据包进行整合拼接,拼接完整后,再进行解压缩操作即可