golang高效读取http应答包

常用写法 ioutil/io.ReadAll

code demo

• httpresp, err := http.DefaultClient.Do(httpreq.WithContext(httpctx))
  defer httpresp.Body.Close()
  bodyByte, err := ioutil.ReadAll(httpresp.Body)
  

golang标准库实现

• func ReadAll(r Reader) ([]byte, error) {
   b := make([]byte, 0, 512)
   for {
    if len(b) == cap(b) {
     // Add more capacity (let append pick how much).
     b = append(b, 0)[:len(b)]
    }
    n, err := r.Read(b[len(b):cap(b)])
    b = b[:len(b)+n]
    if err != nil {
     if err == EOF {
      err = nil
     }
     return b, err
    }
   }
  }
  

问题

• 一次申请512字节 如果应答很大，大量并发 则会出现问题，因为在频繁大量的申请512字节内存，申请速度超过gc的速度 很可能导致内存OOM

优化方案使用bytebufferpool

bytebufferpool介绍

bytebufferpool将不同大小的byte[]分成了多个区间，动态调整，可以理解成一组可以动态调整大小的syncpool(byte[])

fasthttp库在大量使用

code demo

• ​ import "github.com/valyala/bytebufferpool"

• 业务代码

  httpresp, err := http.DefaultClient.Do(httpreq.WithContext(httpctx))
  defer httpresp.Body.Close()
  var bodyByte []byte
  buffer := bytebufferpool.Get()
  buffer.Reset()
  if _, err = buffer.ReadFrom(httpresp.Body); err == nil {
   bodyByte = buffer.Bytes()
  }
  bytebufferpool.Put(buffer) // 注意放入pool后不要再使用之前的buffer 因为可能会被修改
  

本文由 mdnice 多平台发布