golang管理http代理

最新推荐文章于 2024-05-12 15:22:47 发布

weixin_34220179

最新推荐文章于 2024-05-12 15:22:47 发布

阅读量80

点赞数

文章标签： golang python

原文链接：https://my.oschina.net/u/111188/blog/1551340

版权

2019独角兽企业重金招聘Python工程师标准>>>

说明

由于使用go的自带的net/http库并结合http代理使用时会遇到too many open files和too many open connections这样的错误，导致无法创建新的连接，其原因是没有释放已用过的连接，本文只是用来总结解决这个问题的设置

代码

组装http请求时设置访问完成时自动关闭连接，这样就不会让服务器和客户端一直保持连接，从而造成资源耗光了

http_requ, _ := http.NewRequest(req.Method, dest_url, req.Body)
http_requ.Header = req.Header
//在头部设置使用之后关闭连接
http_requ.Header.Set("Connection", "close")
//或者直接设置Close
http_requ.Close = true

其他设置是看源代码中的注释瞎猜的

http_client := &http.Client{
    Timeout: time.Duration(3 * time.Second),//客户端设置3秒超时
}

http_client.Transport = &http.Transport{
    DisableKeepAlives: false,//关闭连接复用，因为后台连接过多最后会造成端口耗尽
    MaxIdleConns: -1,  //最大空闲连接数量
    IdleConnTimeout: time.Duration(3 * time.Second),  //空闲连接超时时间
    Proxy: http.ProxyURL(proxy_addr), //设置http代理地址
}

转载于:https://my.oschina.net/u/111188/blog/1551340