隧道转发爬虫代理提高业务效率

通过浏览器搜索代理，会弹出许多代理IP的广告商。代理IP也是网络爬虫中不可缺少的一部分，对于选择爬虫代理IP来说不能单靠广告吹牛皮来选择代理商，要经过一系列的测试代理的稳定性和有效率。使用高质量的爬虫代理IP可以使工作效率最大化。
代理IP的质量越高，有效连接率越高，所以说，尽量避免使用免费代理IP，免费的有效连接率就会降低。因此，购买高质量代理IP是非常必要的，相当于赢得了先机
要理解效率的概念，我们首先要知道有效连接率是怎样的？有效连通率是使用代理IP连接成功的概率。能连接并不代表效率有多高，这取决于你要做什么。有效连接率是指客户机与代理服务器之间能够成功连接的比率，有效连接率越高，表明使用代理IP的业务成功率可能越高。
怎样提高业务有效率：这时候就需要使用到高质量的隧道转发爬虫代理

        package main

        import (
            "net/url"
            "net/http"
            "bytes"
            "fmt"
            "io/ioutil"
        )

        // 代理服务器(产品官网 www.16yun.cn)
        const ProxyServer = "t.16yun.cn:31111"

        type ProxyAuth struct {
            Username string
            Password string
        }

        func (p ProxyAuth) ProxyClient() http.Client {

            var proxyURL *url.URL
            if p.Username != ""&& p.Password!="" {
                proxyURL, _ = url.Parse("http://" + p.Username + ":" + p.Password + "@" + ProxyServer)
            }else{
                proxyURL, _ = url.Parse("http://" + ProxyServer)
            }
            return http.Client{Transport: &http.Transport{Proxy:http.ProxyURL(proxyURL)}}
        }

        func main()  {


            targetURI := "https://httpbin.org/ip"


            // 初始化 proxy http client
            client := ProxyAuth{"username",  "password"}.ProxyClient()

            request, _ := http.NewRequest("GET", targetURI, bytes.NewBuffer([] byte(``)))

            // 设置Proxy-Tunnel
            // rand.Seed(time.Now().UnixNano())
            // tunnel := rand.Intn(10000)
            // request.Header.Set("Proxy-Tunnel", strconv.Itoa(tunnel) )

            response, err := client.Do(request)

            if err != nil {
                panic("failed to connect: " + err.Error())
            } else {
                bodyByte, err := ioutil.ReadAll(response.Body)
                if err != nil {
                    fmt.Println("读取 Body 时出错", err)
                    return
                }
                response.Body.Close()

                body := string(bodyByte)

                fmt.Println("Response Status:", response.Status)
                fmt.Println("Response Header:", response.Header)
                fmt.Println("Response Body:\n", body)
            }
        }