开箱即用的高匿代理抓取工具

golang-proxy v3.0

golang-proxy是一个开箱即用的高匿代理抓取工具, 它是语言无关的
项目地址: https://github.com/storyicon/golang-proxy

golang-proxy

中文文档

Golang-Proxy – 简单高效的免费代理抓取工具通过抓取网络上公开的免费代理,来维护一个属于自己的高匿代理池,用于网络爬虫、资源下载等用途。

v3.0 有哪些新特性

  1. 依旧提供了高度灵活的 API 接口,在启动主程序后,即可通过在浏览器访问localhost:9999/alllocalhost:9999/random 直接获取抓到的代理!甚至可以使用 localhost:9999/sql?query=来执行一些简单的 SQL 语句来自定义代理筛选规则!
  2. 依旧提供 WindowsLinuxMac 开箱即用版
    Download Release v3.0
  3. 支持自动对代理类型进行判断, 可以通过 schemeType 判定代理对httphttps的支持程度
  4. 支持了MySQL数据库, 详情请见 Config
  5. 支持单独启动服务, 在启动编译好的二进制文件时, 通过 -mode= 来指定是否单独启动 producer/consumer/assessor/service
  6. 重新设计了数据表, 请注意, 这意味着 API 接口发生了变动
  7. 重新设计了 的数据结构, 去除了 filter 等字段, 请注意, 这意味着 v2.0 的源在直接提供给v3.0 使用时可能会出现一些问题
  8. 更新了一些
  9. 不再支持 -source 启动参数

如何使用 golang-proxy

1. 使用开箱即用版本

Release 页面 根据系统环境提供了一些压缩包,将他们解压后执行即可。

开箱即用版下载地址: Download Release v3.0

下载完成后, 将压缩包中的二进制文件和 source 目录解压到同一个位置, 启动二进制文件即可, 程序将会启动下面这些服务:

  1. producer : 周期性的抓取source目录中定义的源, 将抓取到的代理写入到 crude_proxy 表中
  2. consumer : 周期性的从 crude_proxy 中读取一定数量的代理, 判断它们的代理类型以及可用性, 将它们写入到 proxy表中
  3. assessor : 周期性的从 proxy 表中读取一定数量的代理, 评估它们的质量
  4. service : golang-proxy 提供的 http api 接口, 使你可以通过 localhost:9999/all, localhost:9999/random, localhost:9999/sql?query= 这三个接口来筛选和获取 crude_proxyproxy 表中的代理

当你启动编译好的二进制文件时, 默认这些服务会依次启动, 但是在 v3.0 版本, 你可以通过添加 -mode 启动参数来指定单独启动某个服务, 比如:

golang-proxy -mode=service

这样运行, 将只会启动 service 服务, 在启动了 service 之后, 你可以在浏览器中访问以下接口, 获得相应的代理:

url description
localhost:9999/all 获取 proxy 表中所有已经抓取到的代理
localhost:9999/all?table=proxy 获取 proxy 表中所有已经抓取到的代理
localhost:9999/all?table=crude_proxy 获取 crude_proxy 表中所有已经抓取到的代理
localhost:9999/random proxy 表中随机获取一条代理
localhost:9999/random?table=proxy proxy 表中随机获取一条代理
localhost:9999/random?table=crude_proxy crude_proxy 表中随机获取一条代理
localhost:9999/sql?query= query=后加上SQL语句, 返回SQL执行结果, 只支持较为简单的查询语句

请注意, crude_proxy 只是抓取到的代理的临时储存表, 不能保证它们的质量, 而proxy 表中的代理将会不断得到 assessor 的评估, proxy 表中的 score 字段可以较为全面的反映一个代理的质量, 质量较低时会被删除

接口示例: localhost:9999/sql

例如访问 localhost:9999/sql?query=SELECT * FROM PROXY WHERE SCORE > 5 ORDER BY SCORE DESC, 将会返回 proxy 表中所有分数大于5的代理, 并按照分数从高到低返回

{
   
    "error": "",
    "message": [
        {
   
            "id": 2,
            "ip": 
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Matlab机器人工具箱可以用于控制机械臂的抓取和移动。机器人工具箱提供了一组函数和工具,可以用来设计、模拟和控制机器人系统。以下是一些常用的函数和工具: 1. 机器人建模函数:机器人工具箱提供了一些函数,可以用来建立机器人的运动学和动力学模型,如robotics.RigidBodyTree和robotics.RigidBodyManipulator等。 2. 抓取函数:机器人工具箱提供了一些函数,可以用来控制机器人的夹爪,如robotics.Gripper和robotics.GripperCommand等。 3. 运动规划函数:机器人工具箱提供了一些函数,可以用来规划机器人的运动,如robotics.PRM和robotics.RRT等。 4. 运动控制函数:机器人工具箱提供了一些函数,可以用来控制机器人的运动,如robotics.MotionModel和robotics.JointTrajectory等。 5. 仿真工具:机器人工具箱提供了一些仿真工具,可以用来模拟机器人的运动和控制,如Simulink和Gazebo等。 通过使用这些函数和工具,可以实现机器人的抓取和移动,例如: 1. 设计机器人模型:使用robotics.RigidBodyTree函数建立机器人的运动学模型。 2. 设计夹爪:使用robotics.Gripper函数设计机器人的夹爪。 3. 规划运动:使用robotics.PRM函数规划机器人的运动路径。 4. 控制运动:使用robotics.MotionModel函数控制机器人的运动。 5. 仿真运动:使用Simulink和Gazebo等工具对机器人进行仿真。 通过这些步骤,可以实现机器人的抓取和移动。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值