常用写法 ioutil/io.ReadAll
code demo
-
httpresp, err := http.DefaultClient.Do(httpreq.WithContext(httpctx))
defer httpresp.Body.Close()
bodyByte, err := ioutil.ReadAll(httpresp.Body)
golang标准库实现
-
func ReadAll(r Reader) ([]byte, error) {
b := make([]byte, 0, 512)
for {
if len(b) == cap(b) {
// Add more capacity (let append pick how much).
b = append(b, 0)[:len(b)]
}
n, err := r.Read(b[len(b):cap(b)])
b = b[:len(b)+n]
if err != nil {
if err == EOF {
err = nil
}
return b, err
}
}
}
问题
-
一次申请512字节 如果应答很大,大量并发 则会出现问题,因为在频繁大量的申请512字节内存,申请速度超过gc的速度 很可能导致内存OOM
优化方案使用bytebufferpool
bytebufferpool介绍
bytebufferpool将不同大小的byte[]分成了多个区间,动态调整,可以理解成一组可以动态调整大小的syncpool(byte[])
fasthttp库在大量使用
code demo
-
import "github.com/valyala/bytebufferpool"
-
业务代码
httpresp, err := http.DefaultClient.Do(httpreq.WithContext(httpctx))
defer httpresp.Body.Close()
var bodyByte []byte
buffer := bytebufferpool.Get()
buffer.Reset()
if _, err = buffer.ReadFrom(httpresp.Body); err == nil {
bodyByte = buffer.Bytes()
}
bytebufferpool.Put(buffer) // 注意放入pool后不要再使用之前的buffer 因为可能会被修改
本文由 mdnice 多平台发布