基于golang实现代理IP抓取实例

最新推荐文章于 2024-05-14 07:55:57 发布
最新推荐文章于 2024-05-14 07:55:57 发布
阅读量1.3k 收藏
点赞数
分类专栏： golang 爬虫 实例 文章标签： golang go 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Man_ge/article/details/106659655
版权
golang 同时被 3 个专栏收录
33 篇文章 0 订阅
订阅专栏
实例
33 篇文章 0 订阅
订阅专栏
爬虫
10 篇文章 2 订阅
订阅专栏

依赖库

“github.com/imroc/req”
“github.com/PuerkitoBio/goquery”

参考自己的开源项目

https://github.com/mangenotwork/ManGe_IpProxy

实例简单，直接上code

/*
	golang 的代理ip采集
*/
package main

import (
	"fmt"
	"math/rand"
	"time"
    "strings"
    "regexp"
    "database/sql"
    "github.com/imroc/req"
    "github.com/PuerkitoBio/goquery"
)

//全局请求头
var USER_AGENTS []string = []string{"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
}

//get请求
func GetData(url string) (string,int) {
	rand.Seed(time.Now().UnixNano())
	i := rand.Intn(34)
	//req.SetProxyUrl("http://41.169.158.90:8080")//设置代理
	req.SetTimeout(20 * time.Second)//设置超时
	r, err := req.Get(url,req.Header{"User-Agent": USER_AGENTS[i],
		"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
		"Accept-Language": "zh-CN,zh;q=0.9",
        "Connection": "keep-alive",
        "Accept-Encoding": "gzip, deflate",
		})
	if err != nil {
		fmt.Println("请求错误 : ",err)
		return fmt.Sprintf("请求错误 : %s",err),0
	}
	resp := r.Response()
	return r.String(),resp.StatusCode
}

//     nimadaili 代理
//     http://www.nimadaili.com
func GetNimadailiIP(){
	url := 	"http://www.nimadaili.com"
	htmlTxt,statusCode := GetData(url)
	//fmt.Println(htmlTxt,statusCode)
	fmt.Println(statusCode)
	dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
    if err!=nil{
        fmt.Println(err)
    }
    ipsList := make([]string,0)
    dom.Find("#overflow table tbody tr").Each(func(i int, selection *goquery.Selection) {
        //fmt.Println(selection.Text())
        trTxt := selection.Text()
        tdList := strings.Split(trTxt, "\n")
        //fmt.Println(tdList,len(tdList))
        if len(tdList) == 9{
        	ip := tdList[1]
        	ip = strings.Replace(ip, " ", "", -1)
        	iptype := tdList[3]
        	iptype = strings.Replace(iptype, " ", "", -1)
        	//fmt.Println(ip,iptype)
        	iptypelist := strings.Split(iptype, ",")
        	if len(iptypelist) >1{
        		iptypeStr1 := strings.ToLower(iptypelist[0])
        		iptypeStr2 := strings.ToLower(iptypelist[1])
        		ips1 := fmt.Sprintf("%s://%s",iptypeStr1,ip)
        		ips2 := fmt.Sprintf("%s://%s",iptypeStr2,ip)
        		ipsList = append(ipsList,ips1)
        		ipsList = append(ipsList,ips2)
        	}else{
	        	iptypeStr := strings.ToLower(iptype)
	        	ips := fmt.Sprintf("%s://%s",iptypeStr,ip)
	        	ipsList = append(ipsList,ips)
        	}
        }
    })
    fmt.Println(ipsList)
}

//     crossincode 代理
//     https://lab.crossincode.com/proxy/
func GetCrossincodeIP(){
	url := "https://lab.crossincode.com/proxy/"
	htmlTxt,statusCode := GetData(url)
	//fmt.Println(htmlTxt,statusCode)
	fmt.Println(statusCode)
	dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
    if err!=nil{
        fmt.Println(err)
    }
    ipsList := make([]string,0)
    dom.Find("table tr").Each(func(i int, selection *goquery.Selection) {
        trTxt := selection.Text()
        tdList := strings.Split(trTxt, "\n") 
        if len(tdList) == 9{
        	ip := tdList[1]
        	ip = strings.Replace(ip, " ", "", -1)
        	port := tdList[2]
        	port = strings.Replace(port, " ", "", -1)
        	ips1 := fmt.Sprintf("http://%s:%s",ip,port)
        	ips2 := fmt.Sprintf("https://%s:%s",ip,port)
        	if ip != "Addr"{
	        	ipsList = append(ipsList,ips1)
	        	ipsList = append(ipsList,ips2)
	        }
        }
    })
    fmt.Println(ipsList)
}

//   xiladaili 代理
//   http://www.xiladaili.com/
func GetXiladailiIP(){
	url := "http://www.xiladaili.com/"
	htmlTxt,statusCode := GetData(url)
	//fmt.Println(htmlTxt,statusCode)
	fmt.Println(statusCode)
	dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
    if err!=nil{
        fmt.Println(err)
    }
    ipsList := make([]string,0)
    dom.Find("#scroll tr").Each(func(i int, selection *goquery.Selection) {
        trTxt := selection.Text()
        tdList := strings.Split(trTxt, "\n") 
        if len(tdList) == 10{
        	ip := tdList[1]
        	ip = strings.Replace(ip, " ", "", -1)
        	iptype := tdList[3]
        	iptype = strings.Replace(iptype, " ", "", -1)
        	iptypeStr := strings.ToLower(iptype)
        	iptypeList := strings.Split(iptypeStr, ",")
        	for _,v := range(iptypeList){
        		if ip != "免费ip代理"{
        			ipsList = append(ipsList,fmt.Sprintf("%s://%s",v,ip))
        		}
        	}
        }
    })
    fmt.Println(ipsList)
}

//		jiangxianli
//		http://ip.jiangxianli.com/?page=1   
//		page 1~3(原网站会更新，取前三页就好)
func GetJiangxianliIP(){
	ipsList := make([]string,0)
	for i := 0; i < 5; i++ {
		url := fmt.Sprintf("http://ip.jiangxianli.com/?page=%d",i)
		htmlTxt,statusCode := GetData(url)
		//fmt.Println(htmlTxt,statusCode)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
	    if err!=nil{
	        fmt.Println(err)
	    }
	    dom.Find("tbody tr").Each(func(i int, selection *goquery.Selection) {
	    	//fmt.Println(selection.Text())
	    	rest,_ := selection.Html()
	    	//fmt.Println(rest)
	    	td:=`<td>(.*?)</td>`
	        tdreg := regexp.MustCompile(td)
	        tdList := tdreg.FindAllStringSubmatch(rest,-1)
	        //fmt.Println(tdList[0][1],tdList[1][1],tdList[3][1],"\n\n\n")
	        ip := tdList[0][1]
	        port := tdList[1][1]
	        iptype := tdList[3][1]
	        iptype = strings.ToLower(iptype)
	        ipsList = append(ipsList,fmt.Sprintf("%s://%s:%s",iptype,ip,port))
	    })
	}
	fmt.Println(ipsList)
}

//		superfastip
//		http://www.superfastip.com/welcome/freeip/1  
//		/1  ~  /10
func GetSuperfastipIP(){
	ipsList := make([]string,0)
	for i := 0; i < 11; i++ {
		url := fmt.Sprintf("http://www.superfastip.com/welcome/freeip/%d",i)
		htmlTxt,statusCode := GetData(url)
		//fmt.Println(htmlTxt,statusCode)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
	    if err!=nil{
	        fmt.Println(err)
	    }
	    dom.Find("tbody tr").Each(func(i int, selection *goquery.Selection) {
	    	trTxt := selection.Text()
	        tdList := strings.Split(trTxt, "\n") 
	        if len(tdList) == 10{
	        	ip := tdList[1]
	        	ip = strings.Replace(ip, " ", "", -1)
	        	port := tdList[2]
	        	port = strings.Replace(port, " ", "", -1)
	        	iptype := tdList[5]
	        	iptype = strings.Replace(iptype, " ", "", -1)
	        	iptype = strings.ToLower(iptype)
	        	ipsList = append(ipsList,fmt.Sprintf("%s://%s:%s",iptype,ip,port))
        	}
	    })
	}
	fmt.Println(ipsList)
}


//		kuaidaili
//		https://www.kuaidaili.com/free/inha/1/ 
//		/1   ~   /1000
//需要加代理请求
func GetKuaidailiIP() {
	ipsList := make([]string,0)
	for i := 1; i < 1000; i++ {
		url := fmt.Sprintf("https://www.kuaidaili.com/free/inha/%d/",i)
		htmlTxt,statusCode := GetData(url)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
	    if err!=nil{
	        fmt.Println(err)
	    }
	    dom.Find("#list table tbody tr").Each(func(i int, selection *goquery.Selection) {
	    	trTxt := selection.Text()
	        tdList := strings.Split(trTxt, "\n")
			if len(tdList) == 9{
	        	ip := tdList[1]
	        	ip = strings.Replace(ip, " ", "", -1)
	        	port := tdList[2]
	        	port = strings.Replace(port, " ", "", -1)
	        	iptype := tdList[4]
	        	iptype = strings.Replace(iptype, " ", "", -1)
	        	iptype = strings.ToLower(iptype)
	        	ipsList = append(ipsList,fmt.Sprintf("%s://%s:%s",iptype,ip,port))
        	}
	    })
	}
	fmt.Println(ipsList)
}

//  w66ip
//  http://www.66ip.cn/1.html
//  1~1234
func GetW66ipIP(){
	ipsList := make([]string,0)
	for i := 0; i < 1234; i++ {
		url := fmt.Sprintf("http://www.66ip.cn/%d.html",i)
		htmlTxt,statusCode := GetData(url)
		//fmt.Println(htmlTxt,statusCode)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
	    if err!=nil{
	        fmt.Println(err)
	    }
	    dom.Find("#main table tr").Each(func(i int, selection *goquery.Selection) {
	        rest,_ := selection.Html()
	    	td:=`<td>(.*?)</td>`
	        tdreg := regexp.MustCompile(td)
	        tdList := tdreg.FindAllStringSubmatch(rest,-1)
	        ip := tdList[0][1]
	        port := tdList[1][1]
	        if ip != "ip"{
	        	ipsList = append(ipsList,fmt.Sprintf("http://%s:%s",ip,port))
	        	ipsList = append(ipsList,fmt.Sprintf("https://%s:%s",ip,port))
	        }
	    })
	}
	fmt.Println(ipsList)
}

// 		w89ip
// 		http://www.89ip.cn/index_1.html
// 		1~ 6
func GetW89ipIP() {
	ipsList := make([]string,0)
	for i := 0; i < 7; i++ {
		url := fmt.Sprintf("http://www.89ip.cn/index_%d.html",i)
		htmlTxt,statusCode := GetData(url)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
	    if err!=nil{
	        fmt.Println(err)
	    }
	    dom.Find(".layui-table tbody tr").Each(func(i int, selection *goquery.Selection) {
	        trTxt := selection.Text()
	        tdList := strings.Split(trTxt, "\n")
			if len(tdList) == 12{
	        	ip := tdList[2]
	        	ip = strings.Replace(ip, "\n", "", -1)
	        	ip = strings.Replace(ip, "\t", "", -1)
	        	ip = strings.Replace(ip, " ", "", -1)
	        	port := tdList[4]
	        	port = strings.Replace(port, "\n", "", -1)
	        	port = strings.Replace(port, "\t", "", -1)
	        	port = strings.Replace(port, " ", "", -1)
	        	ipsList = append(ipsList,fmt.Sprintf("http://%s:%s",ip,port))
	        	ipsList = append(ipsList,fmt.Sprintf("https://%s:%s",ip,port))
        	}
	    })
	}
	fmt.Println(ipsList)
}


// 		json89ip
//		http://www.89ip.cn/tqdl.html?num=1000
// 		需要添加等待时间请求,获取太平凡无意义
func GetJson89ipIP(redis *redis.RedisGo){
	ipsList := make([]string,0)
	url := fmt.Sprintf("http://www.89ip.cn/tqdl.html?num=2000")
	htmlTxt,statusCode := GetData(url)
	//fmt.Println(htmlTxt,statusCode)
	fmt.Println(statusCode)
	dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
	if err!=nil{
	    fmt.Println(err)
	}
	dom.Find(".fly-panel div").Each(func(i int, selection *goquery.Selection) {
		rest,_ := selection.Html()
		rest = strings.Replace(rest, "\n", "", -1)
	    rest = strings.Replace(rest, "\t", "", -1)
	    rest = strings.Replace(rest, " ", "", -1)
		ipTxt := strings.Split(rest, "<br/>")
		if len(ipTxt) > 1{
			for _,v := range(ipTxt[0:len(ipTxt)-1]){
				ipsList = append(ipsList,fmt.Sprintf("http://%s",v))
	        	ipsList = append(ipsList,fmt.Sprintf("https://%s",v))
	        	redis.ListRpush(redis.GlobalKey, fmt.Sprintf("https://%s",v))
			}
		}
		//fmt.Println(ipTxt, len(ipTxt), "\n============\n\n")
	})
	fmt.Println(ipsList)
}


// 		qydaili
// 		http://www.qydaili.com/free/?action=china&page=1
// 		1~10
func GetQydailiIP(){
	ipsList := make([]string,0)
	for i := 0; i < 10; i++ {
		url := fmt.Sprintf("http://www.qydaili.com/free/?action=china&page=%d",i)
		htmlTxt,statusCode := GetData(url)
		//fmt.Println(htmlTxt,statusCode)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
		if err!=nil{
		    fmt.Println(err)
		}
		dom.Find(".container table tbody tr").Each(func(i int, selection *goquery.Selection) {
			//fmt.Println(selection.Text(),"\n\n\n")
			trTxt := selection.Text()
	        tdList := strings.Split(trTxt, "\n")
			//fmt.Println(tdList,len(tdList),"\n============\n\n")
			if len(tdList) == 9 {
				ip := tdList[1]
	        	ip = strings.Replace(ip, " ", "", -1)
	        	port := tdList[2]
	        	port = strings.Replace(port, " ", "", -1)
	        	iptype := tdList[4]
	        	iptype = strings.Replace(iptype, " ", "", -1)
	        	iptype = strings.ToLower(iptype)
	        	ipsList = append(ipsList,fmt.Sprintf("%s://%s:%s",iptype,ip,port))
			}
		})
	}
	fmt.Println(ipsList)
}


// 		ip3366
// 		http://www.ip3366.net/free/?stype=1&page=1
// 		1~6
func GetIp3366IP(){
	ipsList := make([]string,0)
	for i := 0; i < 7; i++ {
		url := fmt.Sprintf("http://www.ip3366.net/free/?stype=1&page=%d",i)
		htmlTxt,statusCode := GetData(url)
		//fmt.Println(htmlTxt,statusCode)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
		if err!=nil{
		    fmt.Println(err)
		}
		dom.Find("#list table tbody tr").Each(func(i int, selection *goquery.Selection) {
			//fmt.Println(selection.Text(),"\n\n\n")
			trTxt := selection.Text()
	        tdList := strings.Split(trTxt, "\n")
			//fmt.Println(tdList,len(tdList),"\n============\n\n")
			if len(tdList) == 9 {
				ip := tdList[1]
	        	ip = strings.Replace(ip, " ", "", -1)
	        	port := tdList[2]
	        	port = strings.Replace(port, " ", "", -1)
	        	iptype := tdList[4]
	        	iptype = strings.Replace(iptype, " ", "", -1)
	        	iptype = strings.ToLower(iptype)
	        	ipsList = append(ipsList,fmt.Sprintf("%s://%s:%s",iptype,ip,port))
			}
		})
	}
	fmt.Println(ipsList)
}


// 		xicidaili
// 		https://www.xicidaili.com/nn/1
// 		1~2345
func GetXicidailiIP() {
	ipsList := make([]string,0)
	for i := 0; i < 2345; i++ {
		url := fmt.Sprintf("https://www.xicidaili.com/nn/%d",i)
		htmlTxt,statusCode := GetData(url)
		//fmt.Println(htmlTxt,statusCode)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
		if err!=nil{
			fmt.Println(err)
		}
		dom.Find("#body table tbody tr").Each(func(i int, selection *goquery.Selection) {
			//fmt.Println(selection.Text(),"\n\n\n")
			trTxt := selection.Text()
	        tdList := strings.Split(trTxt, "\n")
			//fmt.Println(tdList,len(tdList),"\n============\n\n")
			if len(tdList) == 27 {
				ip := tdList[2]
	        	ip = strings.Replace(ip, " ", "", -1)
	        	port := tdList[3]
	        	port = strings.Replace(port, " ", "", -1)
	        	iptype := tdList[8]
	        	iptype = strings.Replace(iptype, " ", "", -1)
	        	iptype = strings.ToLower(iptype)
	        	ipsList = append(ipsList,fmt.Sprintf("%s://%s:%s",iptype,ip,port))
			}
		})
	}
	fmt.Println(ipsList)
}


// 		iphai
// 		http://www.iphai.com/free/ng
// 		http://www.iphai.com/free/wg
func GetIphaiIP(){
	ipsList := make([]string,0)
	iphaiUrlList := []string{"http://www.iphai.com/free/ng","http://www.iphai.com/free/wg"}
	for _,url := range(iphaiUrlList){
		htmlTxt,statusCode := GetData(url)
		//fmt.Println(htmlTxt,statusCode)
		fmt.Println(statusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(htmlTxt))
		if err!=nil{
			fmt.Println(err)
		}
		dom.Find("table tr").Each(func(i int, selection *goquery.Selection) {
			trTxt := selection.Text()
	        tdList := strings.Split(trTxt, "\n")
			if len(tdList) == 16 {
				ip := tdList[2]
	        	ip = strings.Replace(ip, " ", "", -1)
	        	port := tdList[4]
	        	port = strings.Replace(port, " ", "", -1)
	        	iptype := tdList[8]
	        	iptype = strings.Replace(iptype, " ", "", -1)
	        	iptype = strings.ToLower(iptype)
	        	if iptype == ""{
	        		ipsList = append(ipsList,fmt.Sprintf("http://%s:%s",ip,port))
	        		redis.ListRpush(redis.GlobalKey, fmt.Sprintf("http://%s:%s",ip,port))
	        	}else{
	        		ipsList = append(ipsList,fmt.Sprintf("%s://%s:%s",iptype,ip,port))
	        	}
			}
		})
	}
	fmt.Println(ipsList)
}


// 		xsdaili
// 		http://www.xsdaili.com/
func GetXsdailiIP() {
	ipsList := make([]string,0)
	url := fmt.Sprintf("http://www.xsdaili.com/")
	htmlTxt,statusCode := GetData(url)
	//fmt.Println(htmlTxt,statusCode)
	fmt.Println(statusCode)
	urlid :=`<a href="/dayProxy/ip/(.*?).html">`
	urlidreg := regexp.MustCompile(urlid)
	urlidList := urlidreg.FindAllStringSubmatch(htmlTxt,-1)
	//fmt.Println(urlidList)
	for _,v := range(urlidList){
		ipurl := fmt.Sprintf("http://www.xsdaili.com/dayProxy/ip/%s.html",v[1])
		iphtmlTxt,ipstatusCode := GetData(ipurl)
		fmt.Println(ipstatusCode)
		dom,err:=goquery.NewDocumentFromReader(strings.NewReader(iphtmlTxt))
		if err!=nil{
			fmt.Println(err)
		}
		dom.Find(".cont").Each(func(i int, selection *goquery.Selection) {
			rest,_ := selection.Html()
			//fmt.Println(rest,"\n\n\n")
			ipTxt := strings.Split(rest, "<br/>")
			//fmt.Println(ipTxt,len(ipTxt),"\n\n\n")
			for _,ipv := range(ipTxt){
				fmt.Println(ipv)
				fgip := strings.Split(ipv, "@")
					if len(fgip) > 1{
						ip := fgip[0]
						notip := fgip[1]
						//fmt.Println(ip,"\n\n\n")
						iptype := strings.Split(notip, "#")[0]
						fmt.Println(ip,iptype,"\n\n\n")
						iptype = strings.Replace(iptype, " ", "", -1)
						iptype = strings.Replace(iptype, "\n", "", -1)
						iptype = strings.ToLower(iptype)
						ip = strings.Replace(ip, " ", "", -1)
						ip = strings.Replace(ip, "\n", "", -1)
		        		ipsList = append(ipsList,fmt.Sprintf("%s://%s",iptype,ip))
	        		}
			}
		})
	}
	fmt.Println(ipsList)
}



/*
parserList = [
    {
        'urls': ['http://www.66ip.cn/%s.html' % n for n in ['index'] + list(range(2, 12))],
        'type': 'xpath',
        'pattern': ".//*[@id='main']/div/div[1]/table/tr[position()>1]",
        'position': {'ip': './td[1]', 'port': './td[2]', 'type': './td[4]', 'protocol': ''}
    },
    {
        'urls': ['http://www.66ip.cn/areaindex_%s/%s.html' % (m, n) for m in range(1, 35) for n in range(1, 10)],
        'type': 'xpath',
        'pattern': ".//*[@id='footer']/div/table/tr[position()>1]",
        'position': {'ip': './td[1]', 'port': './td[2]', 'type': './td[4]', 'protocol': ''}
    },
    {
        'urls': ['http://cn-proxy.com/', 'http://cn-proxy.com/archives/218'],
        'type': 'xpath',
        'pattern': ".//table[@class='sortable']/tbody/tr",
        'position': {'ip': './td[1]', 'port': './td[2]', 'type': '', 'protocol': ''}

    },
    {
        'urls': ['http://www.mimiip.com/gngao/%s' % n for n in range(1, 10)],
        'type': 'xpath',
        'pattern': ".//table[@class='list']/tr",
        'position': {'ip': './td[1]', 'port': './td[2]', 'type': '', 'protocol': ''}

    },
    {
        'urls': ['https://proxy-list.org/english/index.php?p=%s' % n for n in range(1, 10)],
        'type': 'module',
        'moduleName': 'proxy_listPraser',
        'pattern': 'Proxy\(.+\)',
        'position': {'ip': 0, 'port': -1, 'type': -1, 'protocol': 2}

    },
    {
        'urls': ['http://incloak.com/proxy-list/%s#list' % n for n in
                 ([''] + ['?start=%s' % (64 * m) for m in range(1, 10)])],
        'type': 'xpath',
        'pattern': ".//table[@class='proxy__t']/tbody/tr",
        'position': {'ip': './td[1]', 'port': './td[2]', 'type': '', 'protocol': ''}

    },
    {
        'urls': ['http://www.kuaidaili.com/proxylist/%s/' % n for n in range(1, 11)],
        'type': 'xpath',
        'pattern': ".//*[@id='index_free_list']/table/tbody/tr[position()>0]",
        'position': {'ip': './td[1]', 'port': './td[2]', 'type': './td[3]', 'protocol': './td[4]'}
    },
    {
        'urls': ['http://www.kuaidaili.com/free/%s/%s/' % (m, n) for m in ['inha', 'intr', 'outha', 'outtr'] for n in
                 range(1, 11)],
        'type': 'xpath',
        'pattern': ".//*[@id='list']/table/tbody/tr[position()>0]",
        'position': {'ip': './td[1]', 'port': './td[2]', 'type': './td[3]', 'protocol': './td[4]'}
    },
    {
        'urls': ['http://www.cz88.net/proxy/%s' % m for m in
                 ['index.shtml'] + ['http_%s.shtml' % n for n in range(2, 11)]],
        'type': 'xpath',
        'pattern': ".//*[@id='boxright']/div/ul/li[position()>1]",
        'position': {'ip': './div[1]', 'port': './div[2]', 'type': './div[3]', 'protocol': ''}

    },
    {
        'urls': ['http://www.ip181.com/daili/%s.html' % n for n in range(1, 11)],
        'type': 'xpath',
        'pattern': ".//div[@class='row']/div[3]/table/tbody/tr[position()>1]",
        'position': {'ip': './td[1]', 'port': './td[2]', 'type': './td[3]', 'protocol': './td[4]'}

    },
    {
        'urls': ['http://www.xicidaili.com/%s/%s' % (m, n) for m in ['nn', 'nt', 'wn', 'wt'] for n in range(1, 8)],
        'type': 'xpath',
        'pattern': ".//*[@id='ip_list']/tr[position()>1]",
        'position': {'ip': './td[2]', 'port': './td[3]', 'type': './td[5]', 'protocol': './td[6]'}
    },
    {
        'urls': ['http://www.cnproxy.com/proxy%s.html' % i for i in range(1, 11)],
        'type': 'module',
        'moduleName': 'CnproxyPraser',
        'pattern': r'<tr><td>(\d+\.\d+\.\d+\.\d+)<SCRIPT type=text/javascript>document.write\(\"\:\"(.+)\)</SCRIPT></td><td>(HTTP|SOCKS4)\s*',
        'position': {'ip': 0, 'port': 1, 'type': -1, 'protocol': 2}
    }
]
'''
*/

喜欢编程的朋友可以关注一波ManGe，随时分享我的更多实例。

Man-Li
关注
专栏目录
Golang爬虫框架 colly 简介
m0_49337181的博客
05-10 1869
Golang爬虫框架 colly 简介 colly是一个采用Go语言编写的Web爬虫框架，旨在提供一个能够些任何爬虫/采集器/蜘蛛的简介模板，通过Colly。你可以轻松的从网站提取结构化数据，然后进行数据挖掘，处理或归档 项目特性 清晰明了的API 速度快（每个内核上的请求数大于1K） 管理每个域的请求延迟和最大并发数 自动cookie和会话处理 同步/异步/ 并行抓取 高速缓存 自动处理非Unicode编码 支持Robots.txt 支持Google App Engine 通过环境变量进行配置 可拓展
Golang优秀开源项目汇总, 10大流行Go语言开源项目, golang 开源项目全集(golang/go/wiki/Projects), GitHub上优秀的Go开源项目...
热门推荐
weixin_33836874的博客
05-08 1万+
  Golang优秀开源项目汇总（持续更新。。。）我把这个汇总放在github上了， 后面更新也会在github上更新。 https://github.com/hackstoic/golang-open-source-projects  。 欢迎fork， star ， watch， 提issue。    资料参考来源：http://studygolang.com/projects 监控...
proxypool：Golang实现的IP代理池
02-03
Golang实现的IP代理池 采集免费的代理资源为爬虫提供有效的IP代理 随着时间的推移观星人 版本更新 2019年12月18日v2.4感谢 添加代理网站ip3306，plp-ssl两个 更新数据库结构，添加创建时间和更新时间 更新ip.go当中的Update（），x.Id（）方法将会被x.ID（）代替，所以直接更换为x.ID（） 更新在插入数据时先检查库中是否存在，如果存在就更新，不存在则插入到数据库 更新https proxy api的相关参数 2019年3月28日v2.3感谢修复数据库中不存在https代理源的时候查询出错的问题。解决 2019年2月2日v2.2感谢 添加MAC Darwin平台的支持 添加完全的sqlite3支持 添加新代理平台【feiyi，89ip】 fix一个bug【当数据库中无数据时，不能写入数据】 2018年8月17日v2.1感谢 对代理可用性的验证，增加速度细分，验证代理的速度（毫秒） 调用API获取代理IP时自动过滤掉慢的代理（> = 1s） 2018年7月17日v2.0感谢 使用xorm来处理数据库，支持mysql，mssql，postgr
golang获取免费Ip代理池
唐顺才的博客
06-19 1205
纯技术交流，不得用于其它目的否则后果自负。小幻ip代理池是一个免费的ip代理池。 获取ip代理的demo: package main import ( "fmt" "log" "net/http" "strings" "github.com/PuerkitoBio/goquery" ) func getFreeProxy(filter string) ([]string, bool) { proxypool := []string{} client := &http.Clie.
go语言：使用goQuery采集代理IP
04-11 396
一、goQuery库： 1.简述 据官方描述，goQuery实现了与jQuery相似的DOM操作功能。与jQuery不同的是，jQuery返回的是完整的DOM树，而goQuery返回的是DOM节点。goQuery底层由golang标准库net/html实现，解析器要求文档必须是 UTF-8 编码，使用者应按需转换文档编码。goQuery-readme 2.主要方法 2.1 Document： 返回...
2024年Go最新使用Golang实现HTTP代理突破IP访问限制_go 代理 ip auth failed，2024年最新Golang开发实用必备的几款插件
最新发布
2401_84911020的博客
05-14 852
堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
Golang 采集爬虫如何配置代理 IP
打字爱好者。
04-19 372
在 Golang 中配置代理 IP，可以通过设置 http.Transport 的 Proxy 属性来实现，下述代码中的 代理IP 和 端口 替换为实际的代理服务器地址和端口，然后运行该程序即可通过代理服务器访问对应网站
goGoogleSearch:Golang中的Google搜索爬虫
05-14
标题 "goGoogleSearch:Golang中的Google搜索爬虫" 暗示了这是一个用Go语言编写的程序，其主要功能是实现对Google搜索引擎的自动化搜索和爬取。在Go语言中，这种爬虫通常利用HTTP请求库，如`net/http`，以及HTML解析...
开源运维监控系统-Nightingale（夜莺）应用实践
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
11-27 2658
某业务系统因OS改造，原先的Zabbix监控系统推倒后未重建，本来计划用外部企业内其他监控系统接入，后又通知需要自建才能对接，考虑之前zabbix的一些不便，本次计划采用一个类Prometheus的监控系统，镜调研后发现Nightingale兼容Prometheus，又有一些其他功能增强，又在一些大的企业经过较大规模部署实践，故本次采用Nightingale作为监控系统来进行重建。
golang 代理地址
笔记
07-17 358
https://goproxy.cn https://goproxy.io https://mirrors.aliyun.com/goproxy/
通过golang实现的IP代理池批量获取验证器
08-05
通过golang实现的IP代理池批量获取验证器，解决网上免费代理不可用现象。对免费代理ip进行清洗，获取可用ip代理。
Go-req是一个轻量级简单到极致的go语言http请求库
08-13
req 是一个轻量级、简单到极致的go语言http请求库
golang爬取免费代理IP
12-07 237
golang爬取免费的代理IP，并验证代理IP是否可用 这里选择爬取西刺的免费代理Ip，并且只爬取了一页，爬取的时候不设置useAgent西刺不会给你数据，西刺也做反爬虫处理了，所以小心你的IP被封掉 代码： package main import ( "fmt" "github.com/PuerkitoBio/goquery" "net/h...
使用Golang实现HTTP代理突破IP访问限制
hitpter的专栏
10-16 2034
首先，我们需要定义代理服务器的地址。创建一个url.URL类型的对象，表示代理服务器的地址。if err!= nil {在上述示例中，我们使用url.Parse函数将代理服务器的地址解析为url.URL类型的对象。接下来，我们需要创建一个自定义的对象，并将代理服务器地址设置为Proxy字段。这个自定义的Transport对象将被用于创建自定义的Client对象。在上述示例中，我们创建了一个对象，并将代理服务器地址设置为Proxy字段。这样，我们就成功创建了一个自定义的Transport对象。
go语言使用代理ip来访问
weixin_33936401的博客
11-27 2207
package main import ( "net/url" "github.com/lunny/log" "net/http" "time" "fmt" "io/ioutil" ) func main() { proxyAddr := "http://125.46.0.62:53281/" ...
golang实现http&https代理服务器
Man_ge的博客
05-26 1322
golang实现http&https代理服务器 效果图: 实现 package main import ( gt "github.com/mangenotwork/gathertool" "log" ) func main(){ ipt := &gt.Intercept{ Ip : "0.0.0.0:8111", HttpPackageFunc: func(pack *gt.HttpPackage){ // 查看 ContentType log.Println
golang实现代理池批量获取及验证
Mr.Gogh的博客
08-05 2017
golang实现代理池获取及验证 ​ 在做爬虫时，ip被检测限制，应该是一个比较简单的后端访问异常限制的操作。对于爬虫来说，就不得不增加一个有效的IP代理池。网上许多免费的IP代理，连接性往往有待考证，需要通过验证代理点的可用性。所以一个批量检测生成代理ip的方式，可以让你更快获取有效的列表。 一、通过golang实现一个IP代理爬虫 这里的爬虫网址选用的是:西拉免费代理IP。 通过golang中的http请求目标接口，并对响应值进行页面解析。获取对应的td标签数据。 下面是golang实现代码： pac
go ip过滤_用Go实现自己的爬虫
weixin_39928461的博客
12-27 244
作者：Masamune在日常生活中，我们时常会遇到一些采集数据相关的需求，比如获取一些官方数据整理到excel表中进行统计，聚合一些网页新闻提高自己的阅读效率等等。虽然许多爬虫教程都是用python写的，但是我认为Go语言是比python更合适的选择，Go语言有着优秀的并发特性，很容易就可以写出高并发量的爬虫，并且没有python烦人的编码转换混乱的问题。爬虫预期的爬取规模决定的爬虫程序本身的复杂...
postman的使用
zxd的博客
09-16 497
1.菜单栏 2.从这里新建请求，新建文件夹，新建环境变量等等 3.导入，之前导出的请求 4.单独跑集合 5.添加同事 6.刷新，同步的功能 7.抓取请求，类似于fiddler 8.设置 9.通知信息 10.联系postman的设置 11.登录按钮 12.历史运行的接口 13.集合，例如某功能的接口，或者某项目的集合 14.新版本的特性，基本上用不到 15.新建一个请求 16.选择请求的方式 17.请求的地址 18.发送请求 19.保存请求 20.get请求时，所填的参数
Golang实现代理模式：控制对象访问
2. 设计和实现代理模式相对复杂，需要考虑代理类与原始类的一致性。 3. 如果过度使用代理，可能导致系统结构变得复杂，不易理解。 五.适用场景 1. 需要控制对某个对象的访问，如进行权限验证、限流等操作。 2. 远程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值