python与golang 的 gzip 压缩
python采集数据时, 都是将数据经过压缩存入redis的, 有一些服务修改 golang 后, 原存入数据的格式需要保持一直。
再修改为golang 时, 发现是有些不一样的
python 的 gzip.compress
import gzip
# 压缩
def gzip_compress(raw_data, encoding='utf-8'):
if isinstance(raw_data, str):
str_bytes = raw_data.encode(encoding=encoding)
elif isinstance(raw_data, bytes):
str_bytes = raw_data
else:
raise NotImplemented("Unsupport data type {}".format(type(raw_data)))
return gzip.compress(str_bytes)
# 解压缩
def gzip_uncompress(c_data: bytes, decoding='utf-8'):
decompress_data = gzip.decompress(c_data)
return decompress_data
golang 压缩
func gzip_compress(pams string) []byte {
var b bytes.Buffer
gz := gzip.NewWriter(&b)
if _, err := gz.Write([]byte(pams)); err != nil {
panic(err)
}
if err := gz.Flush(); err != nil {
panic(err)
}
if err := gz.Close(); err != nil {
panic(err)
}
str := base64.StdEncoding.EncodeToString(b.Bytes())
data, e := base64.StdEncoding.DecodeString(str)
if e != nil {
panic(nil)
}
//fmt.Println(data)
//fmt.Println(reflect.TypeOf(data))
//rdata := bytes.NewReader(data)
//fmt.Println(rdata)
//fmt.Println(reflect.TypeOf(rdata))
//r, _ := gzip.NewReader(rdata)
//s, _ := ioutil.ReadAll(r)
//fmt.Println(string(s))
return data
}