使用go-retryablehttp包实现http“链接池”效果

使用go-retryablehttp包实现http“链接池”效果

在go中使用http的方式获取数据时每次通常都会创建一个http的Client对象处理请求,但是如果一次任务中请求的非常频繁,每一次请求都要创建一个Client对象的话势必会造成链接资源的浪费。

在实际中我们知道有一种“链接池”的概念,就是说提前在链接池中创建好链接,每一次请求前都从这个“链接池”中获取链接,请求处理完毕后不释放链接而是将这个链接重新放入链接池中,以便下一次请求使用,这样便十分有效的利用了链接资源,同时也有效的降低了服务器的负载。

Go中有一个第三方包go-retryablehttp能够实现上述的效果。

实现链接池

package utils

import (
    "crypto/tls"
    "github.com/hashicorp/go-retryablehttp"
    "net"
    "net/http"
    "sync"
    "time"
)

const (
    ConnectTimeout = 10 * time.Second
    RequestTimeout = 30 * time.Second
)

// 加一个锁 防止多线程同时写入字典的情况
var muClient sync.Mutex

func GetHttpClient(tag string, config *tls.Config) *http.Client {
    muClient.Lock()
    // 连接池字典
    clientMap := make(map[string]*retryablehttp.Client)

    // 带证书认证的结构
    transportMap := make(map[string]*http.Transport)

    defer muClient.Unlock()
    // 如果是一个带证书的请求,在这里处理
    if config != nil {
        if _, ok := transportMap[tag]; !ok {
            transportMap[tag] = NewTransport()
            transportMap[tag].TLSClientConfig = config
        }
        return &http.Client{
            Transport: transportMap[tag],
            Timeout:   RequestTimeout,
        }
    }
    if _, ok := clientMap[tag]; !ok {
        clientMap[tag] = NewRetryHttpClient()
    }
    return clientMap[tag].StandardClient()
}

// 使用http连接池
func NewTransport() *http.Transport {
    dialContext := (&net.Dialer{
        Timeout:   ConnectTimeout,
        KeepAlive: 30 * time.Second,
    }).DialContext

    return &http.Transport{
        Proxy:                 http.ProxyFromEnvironment,
        DialContext:           dialContext,
        MaxIdleConns:          100,
        MaxConnsPerHost:       25,
        IdleConnTimeout:       30 * time.Second,
        TLSHandshakeTimeout:   ConnectTimeout,
        ExpectContinueTimeout: 1 * time.Second,
    }
}

func NewRetryHttpClient() *retryablehttp.Client {
    retryClient := retryablehttp.NewClient()
    retryClient.RetryMax = 10
    retryClient.Logger = nil
    return retryClient
}

使用链接池并发处理http请求

package main

import (
    "fmt"
    "http_pool/utils"
    "io/ioutil"
    "log"
    "net/http"
    "sync"
)

func main() {

    // 使用 waitGroup开goroutine
    wait := sync.WaitGroup{}
    for i := 0; i < 10; i++ {
        wait.Add(1)
        go getBaidu(i, &wait)
    }
    // 等子goroutine走完了再走主的
    wait.Wait()
    fmt.Println("------ 所有goroutine均请求完成 ------")
}

// 测试请求百度链接的代码 ———— TODO 里面使用 "http链接池" 做优化
func getBaidu(i int, wait *sync.WaitGroup) {
    // 在这里写 wait.Done()
    defer wait.Done()

    url := "http://www.baidu.com"
    req, err := http.NewRequest("GET", url, nil)

    if err != nil {
        log.Panic("err1: ", err)
    }

    req.Header.Add("cache-control", "no-cache")
    req.Header.Add("Postman-Token", "f4a59d50-9672-4710-a8c0-abb8a453b199")

    // TODO:注意!不使用"http链接池"会在程序运行期间产生大量无效的链接资源,给服务器增加不必要的负担
    // res, err := http.DefaultClient.Do(req)

    // 使用 "http链接池" 可以优化http链接资源
    httpClient := utils.GetHttpClient("get_baidu", nil)
    res, err := httpClient.Do(req)

    if err != nil {
        log.Panic("err2: ", err)
    }

    defer res.Body.Close()
    // body, err := ioutil.ReadAll(res.Body)
    _, err = ioutil.ReadAll(res.Body)
    if err != nil {
        log.Panic("err3: ", err)
    }
    fmt.Printf("%d 号Gorountine成功请求了百度!\n", i)
    //fmt.Println(res)
    //fmt.Println(string(body))
}
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
使用go-zero和Terraform实现自动化云平台部署的项目,可以分为以下几个步骤: 1. 安装go-zero和Terraform 在开始之前,您需要确保已经安装了go-zero和Terraform。您可以从官方网站下载和安装它们。 2. 创建go-zero项目 使用goctl命令创建一个新的go-zero项目: ``` goctl api new your_project ``` 这将在当前目录中创建一个新的go-zero项目。 3. 编写go-zero服务代码 在项目目录中,您可以使用goctl命令来创建一个新的服务: ``` goctl api add -plugin tf your_service ``` 这将在services目录中创建一个新的服务,该服务将使用Terraform插件。 现在,您可以在该服务中编写自己的业务逻辑代码。 4. 编写Terraform代码 在该服务的tf目录中,您可以编写Terraform代码来定义您的基础设施。 例如,您可以使用Terraform代码来定义一个新的云服务器实例: ``` resource "aws_instance" "example" { ami = "ami-0c55b159cbfafe1f0" instance_type = "t2.micro" tags = { Name = "example-instance" } } ``` 5. 编写自动化脚本 最后,您可以编写一个自动化脚本来自动化部署您的服务和基础设施。 例如,您可以使用bash脚本来自动化部署: ``` #!/bin/bash # 编译服务 go build -o your_service # 初始化Terraform terraform init # 应用Terraform配置 terraform apply -auto-approve ``` 这将自动编译您的服务并应用您的Terraform配置来创建您的基础设施。 总之,使用go-zero和Terraform实现自动化云平台部署的项目可以简化部署流程并提高效率。但是,在使用自动化工具之前,您需要了解基础设施和自动化工具的工作原理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值