go proxy 快捷的高匿代理抓取工具

Golang-Proxy是一款简单高效的免费代理抓取工具,它能抓取网络上的高匿代理,适用于爬虫和资源下载。最新版V2.0不再依赖MySQL和NSQ,提供灵活的API接口,支持直接执行SQL筛选代理。同时提供编译源码、开箱即用版本的安装方式,并具备稳定、快速、高可配置性和拓展性特点。
摘要由CSDN通过智能技术生成

golang-proxy v2.0

Golang-Proxy – 简单高效的免费代理抓取工具通过抓取网络上公开的免费代理,来维护一个属于自己的高匿代理池,用于网络爬虫、资源下载等用途。
golang-proxy

Version 2.0

  1. 不再依赖 MySQL 和 NSQ
  2. 之前需要分别启动publisherconsumerassessor,现在 只需要启动主程序 即可!
  3. 提供了高度灵活的 API 接口,在启动主程序后,即可通过在浏览器访问localhost:9999/alllocalhost:9999/random 直接获取抓到的代理!甚至可以使用 localhost:9999/sql?query=来执行 SQL 语句来自定义代理筛选规则!
  4. 提供 WindowsLinuxMac 开箱即用版
    Download Release v2.0

安装

1. 通过编译源码
go get github.com/storyicon/golang-proxy

进入到 golang-proxy 目录,执行 go build main.go,执行生成的二进制的执行程序即可。

注意:
go build 的过程中可能出现cannot find package "github.com/gocolly/col1ly" in any of 等找不到包的情况,根据提示的地址 go get 即可

# 比如如果在 go build main.go 的时候提示
business\publisher.go:8:2: cannot find package "github.com/gocolly/col1ly" in any of:
        F:\Go\src\github.com\gocolly\col1ly (from $GOROOT)
        D:\golang\src\github.com\gocolly\col1ly (from $GOPATH)
        C:
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值