Go语言检测代理IP

---

title: Go语言检测代理IP
tags: go
author : Clown95

---

我们使用爬虫的时候需要大量代理，但是并不是所有的代理都是有效的。所以在使用代理前，我们应该先检测下代理是否可用。

我们可以使用http.Transport设置代理来访问某个测试地址，如果返回的状态码为200，说明这个代理是可用的。

注意：为了能够提升代理检测效率，测试地址尽量使用数据量比较小的站点。
例如：https://icanhazip.com 和 https://httpbin.org/get

package main

import (
	"fmt"
	"log"
	"net/http"
	"net/url"
	"strings"
	"time"
)

func ProxyTest(proxy_addr string) (Speed int, Status int) {
	//检测代理iP访问地址
	var testUrl string
	//判断传来的代理IP是否是https
	if strings.Contains(proxy_addr, "https") {
		testUrl = "https://icanhazip.com"
	} else {
		testUrl = "http://icanhazip.com"
	}
	// 解析代理地址
	proxy, err := url.Parse(proxy_addr)
	//设置网络传输
	netTransport := &http.Transport{
		Proxy:                 http.ProxyURL(proxy),
		MaxIdleConnsPerHost:   10,
		ResponseHeaderTimeout: time.Second * time.Duration(5),
	}
	// 创建连接客户端
	httpClient := &http.Client{
		Timeout:   time.Second * 10,
		Transport: netTransport,
	}
	begin := time.Now() //判断代理访问时间
	// 使用代理IP访问测试地址
	res, err := httpClient.Get(testUrl)

	if err != nil {
		log.Println(err)
		return
	}
	defer res.Body.Close()
	speed := int(time.Now().Sub(begin).Nanoseconds() / 1000 / 1000) //ms
	//判断是否成功访问，如果成功访问StatusCode应该为200
	if res.StatusCode != http.StatusOK {
		log.Println(err)
		return
	}
	return speed, res.StatusCode
}

func main() {

	var speed, status = ProxyTest("http://124.205.155.151:9090")
	if status == 200 {
		fmt.Println(speed, status)
	} else {
		fmt.Println("代理不可用")
	}
}

我们也可以进行一些拓展，爬取免费代理IP并验证它们，构建自己的免费代理池。