通过浏览器搜索代理,会弹出许多代理IP的广告商。代理IP也是网络爬虫中不可缺少的一部分,对于选择爬虫代理IP来说不能单靠广告吹牛皮来选择代理商,要经过一系列的测试代理的稳定性和有效率。使用高质量的爬虫代理IP可以使工作效率最大化。
代理IP的质量越高,有效连接率越高,所以说,尽量避免使用免费代理IP,免费的有效连接率就会降低。因此,购买高质量代理IP是非常必要的,相当于赢得了先机
要理解效率的概念,我们首先要知道有效连接率是怎样的?有效连通率是使用代理IP连接成功的概率。能连接并不代表效率有多高,这取决于你要做什么。有效连接率是指客户机与代理服务器之间能够成功连接的比率,有效连接率越高,表明使用代理IP的业务成功率可能越高。
怎样提高业务有效率:这时候就需要使用到高质量的隧道转发爬虫代理
package main
import (
"net/url"
"net/http"
"bytes"
"fmt"
"io/ioutil"
)
// 代理服务器(产品官网 www.16yun.cn)
const ProxyServer = "t.16yun.cn:31111"
type ProxyAuth struct {
Username string
Password string
}
func (p ProxyAuth) ProxyClient() http.Client {
var proxyURL *url.URL
if p.Username != ""&& p.Password!="" {
proxyURL, _ = url.Parse("http://" + p.Username + ":" + p.Password + "@" + ProxyServer)
}else{
proxyURL, _ = url.Parse("http://" + ProxyServer)
}
return http.Client{Transport: &http.Transport{Proxy:http.ProxyURL(proxyURL)}}
}
func main() {
targetURI := "https://httpbin.org/ip"
// 初始化 proxy http client
client := ProxyAuth{"username", "password"}.ProxyClient()
request, _ := http.NewRequest("GET", targetURI, bytes.NewBuffer([] byte(``)))
// 设置Proxy-Tunnel
// rand.Seed(time.Now().UnixNano())
// tunnel := rand.Intn(10000)
// request.Header.Set("Proxy-Tunnel", strconv.Itoa(tunnel) )
response, err := client.Do(request)
if err != nil {
panic("failed to connect: " + err.Error())
} else {
bodyByte, err := ioutil.ReadAll(response.Body)
if err != nil {
fmt.Println("读取 Body 时出错", err)
return
}
response.Body.Close()
body := string(bodyByte)
fmt.Println("Response Status:", response.Status)
fmt.Println("Response Header:", response.Header)
fmt.Println("Response Body:\n", body)
}
}