使用golang+代理IP+goquery开发爬虫（爬取国外电影网站）

最新推荐文章于 2023-02-07 17:58:44 发布

weixin_30846599

最新推荐文章于 2023-02-07 17:58:44 发布

阅读量1.4k

点赞数

文章标签：爬虫 golang php

原文链接：http://www.cnblogs.com/hellolujun/p/10011603.html

版权

本文介绍了使用Golang结合代理IP和goquery库开发的一个爬虫项目，该项目用于爬取国外电影网站的数据。在开发过程中遇到了不少问题，由于对Golang理解不够深入，代码可能存在效率低下和资源消耗大的问题。欢迎读者提出宝贵意见和建议。

摘要由CSDN通过智能技术生成

package main

import (
        "fmt"
        "github.com/PuerkitoBio/goquery"
        "net/http"
        "net/url"
        "time"
        "strconv"
        "strings"
        "log"
)

func main() {
	for k:= 206044;k<300000;k++{
		Bluray(k)
	}
	
}


func Between(str, starting, ending string) string {
    s := strings.Index(str, starting)
    if s < 0 {
        return ""
    }
    s += len(starting)
    e := strings.Index(str[s:], ending)
    if e < 0 {
        return ""
    }
    return str[s : s+e]
}

func Bluray(i int){
		
	        req_url := "https://www.blu-ray.com/movies/The-Meg-4K-Blu-ray/" + strconv.Itoa(i)
	LABEL1:        
			fmt.Println("start id:",i)
	
			ipAddress := httpGet()//这里获取代理IP 返回eg：127.0.0.1