2024年Go最新Go采集代理框架，2024年最新实战篇

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

代理服务器可以分为两种类型：正向代理和反向代理。正向代理充当客户端的角色，并代表客户端向目标服务器发送请求。反向代理作为服务器的角色，并代表服务器向客户端发送响应。

构建代理采集框架

现在我们可以使用Go语言来构建一个代理采集框架。我们将使用Go的特性和库来实现这个框架。

第一步：设计代理结构体

首先，我们需要定义一个代理的结构体。代理结构体包含IP地址、端口号和协议类型。

type Proxy struct {
    IP       string
    Port     int
    Protocol string
}

第二步：获取代理列表

接下来，我们需要定义一个函数来获取代理列表。代理列表可以从公开的代理API或代理池中获取。在这个例子中，我们将使用https://www.proxy-list.download/来获取代理列表。

import (
    "net/http"
    "io/ioutil"
    "strings"
)

func getProxyList() ([]Proxy, error) {
    url := "https://www.proxy-list.download/api/v1/get?type=http&country=US"
    resp, err := http.Get(url)
    if err != nil {
        return nil, err
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return nil, err
    }

    proxyList := strings.Split(string(body), "\n")
    proxies := make([]Proxy, 0)

    for \_, proxyStr := range proxyList {
        parts := strings.Split(proxyStr, ":")
        if len(parts) != 2 {
            continue
        }

        proxy := Proxy{
            IP:       parts[0],
            Port:     strconv.Atoi(parts[1]),
            Protocol: "HTTP",
        }
        
        proxies = append(proxies, proxy)
    }

    return proxies, nil
}

第三步：测试代理服务器

现在我们可以测试代理服务器是否可用。

import (
    "net/http"
    "time"
)

func testProxy(proxy Proxy) error {
    client := &http.Client{
        Transport: &http.Transport{
            Proxy: http.ProxyURL(&url.URL{
                Host: proxy.IP + ":" + strconv.Itoa(proxy.Port),
            }),
            DialContext: (&net.Dialer{
                Timeout:   30 \* time.Second,
                KeepAlive: 30 \* time.Second,
            }).DialContext,
            TLSHandshakeTimeout:   10 \* time.Second,
            ResponseHeaderTimeout: 10 \* time.Second,
            ExpectContinueTimeout: 1 \* time.Second,
        },
    }

    req, err := http.NewRequest("GET", "https://www.example.com/", nil)
    if err != nil {
        return err
    }

    \_, err = client.Do(req)
    if err != nil {
        return err
    }

    return nil
}

第四步：批量测试代理服务器

为了提高效率，我们可以使用Go协程来并发测试多个代理服务器。

import (
    "sync"
    "log"
)

func testProxies(proxies []Proxy) {
    var wg sync.WaitGroup
    wg.Add(len(proxies))

    for \_, proxy := range proxies {
        go func(proxy Proxy) {
            defer wg.Done()
            if err := testProxy(proxy); err != nil {
                log.Println("Proxy", proxy.IP, "failed:", err)
            } else {
                log.Println("Proxy", proxy.IP, "is working")


![img](https://img-blog.csdnimg.cn/img_convert/a77b3093ab1a4052786a266a2e948ae2.png)
![img](https://img-blog.csdnimg.cn/img_convert/68186f37136609e3a60965f0f7f7c292.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618658159)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618658159)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**