golang-proxy v2.0
Golang-Proxy – 简单高效的免费代理抓取工具通过抓取网络上公开的免费代理,来维护一个属于自己的高匿代理池,用于网络爬虫、资源下载等用途。
Version 2.0
- 不再依赖 MySQL 和 NSQ!
- 之前需要分别启动
publisher
、consumer
和assessor
,现在 只需要启动主程序 即可! - 提供了高度灵活的 API 接口,在启动主程序后,即可通过在浏览器访问
localhost:9999/all
与localhost:9999/random
直接获取抓到的代理!甚至可以使用localhost:9999/sql?query=
来执行 SQL 语句来自定义代理筛选规则! - 提供
Windows
、Linux
、Mac
开箱即用版!
Download Release v2.0
安装
1. 通过编译源码
go get github.com/storyicon/golang-proxy
进入到 golang-proxy
目录,执行 go build main.go
,执行生成的二进制的执行程序即可。
注意:
在 go build
的过程中可能出现cannot find package "github.com/gocolly/col1ly" in any of
等找不到包的情况,根据提示的地址 go get
即可
# 比如如果在 go build main.go 的时候提示
business\publisher.go:8:2: cannot find package "github.com/gocolly/col1ly" in any of:
F:\Go\src\github.com\gocolly\col1ly (from $GOROOT)
D:\golang\src\github.com\gocolly\col1ly (from $GOPATH)
C: