关闭

CentOS 7 安装 TinyProxy 代理服务器

标签: 代理IP米扑代理TinyProxyProxy代理
2605人阅读 评论(0) 收藏 举报
分类:

米扑科技,是一家专注互联网金融和大数据挖掘的初创互联网公司,正式注册成立于2016年9月,总部位于北京市海淀区中关村核心功能区。

米扑团队,成员来自百度、小米、阿里、创新工场等一线互联网公司,核心技术研发,实战经验丰富,具有浓厚的极客精神和精益的工匠品质。

 

米扑代理,是米扑科技旗下的一款用于网页抓取、数据采集的代理产品,作为全球代理服务的领导品牌,产品优势如下:

1. 五年来,已经积累超过2000多万的海量代理库,每天可用代理5000个左右

2. 覆盖全球120多个国家,中国34个省市,支持国家批量筛选

3. 支持http、https、socks4、socks5等协议,总能满足您的需求

4. 拥有完全自主研发的代理检测核心引擎,技术研发实力雄厚

5. 拥有几十台云服务器,完全自主搭建的代理服务器,分布于全球十多个国家

6. 作为全球代理的企业级领导品牌,服务于全球5000多家企业客户,日均代理提取数超过10亿个

米扑代理官网https://proxy.mimvp.com

 

米扑代理案例

杨小米,最近在公司做爬虫工作,采集股票金融数据,写程序抓取数据的过程并不像平常我们用浏览器打开网页那么简单!

大多数的金融数据网站为了自己站点的性能和数据安全都设置了各种反爬策略。最常见的反爬虫策略有输入验证码、需要用户登陆、单个IP设置次数和频率、访问网页轨迹等等!所以广大的爬虫工程师,在抓取数据之前一般都会先调研目标网站是否设置了反爬策略。当不能正常访问网站时,可以在程序中设置代理IP来判断网站是不是封禁了我们的IP,或者使用海量的代理IP来爬取网页采集数据,推荐使用米扑代理:https://proxy.mimvp.com

 

CentOS 7 搭建 TinyProxy 代理

TinyProxy 和 Squid 都是比较优秀的代理软件

TinyProxy比较小众,虽然没有Squid的功能丰富,但是小巧简单,也能满足普通用户的需求。

Squid 是一款优秀的代理软件,有很丰富的ACL管理功能,虽然squid很强大,但配置比较繁琐。

 

1. 安装 TinyProxy

yum -y install tinyproxy

 

2. 配置 TinyProxy

vim /etc/tinyproxy/tinyproxy.conf

修改 Port 端口,默认为 8888

Port 8888

注释掉 Allow,表示允许所有人访问代理

#Allow 127.0.0.1

隐藏掉Via请求头部,去掉下面的注释

DisableViaHeader Yes

更多配置项,下面是列举一些配置文件默认的,不需要配置:

PidFile "/var/run/tinyproxy/tinyproxy.pid"
LogFile "/var/log/tinyproxy/tinyproxy.log"
LogLevel Info
MaxClients 100
MinSpareServers 5
MaxSpareServers 20
StartServers 10

 

3. 启动 TinyProxy

systemctl start tinyproxy.service 

更多命令如下:

systemctl restart tinyproxy.service 
systemctl stop tinyproxy.service 
systemctl status tinyproxy.service 
systemctl enable tinyproxy.service 

 

4. 关闭防火墙或开放端口访问

方式1:关闭防火墙

/etc/init.d/iptables stop

方式2:开放端口访问

iptables -A INPUT -p tcp --dport 8888 -j ACCEPT

重启防火墙

/etc/init.d/iptables restart

注意:若采用的阿里云、腾讯云、AWS等云服务器,记得要在安全策略里开放端口号

 

5. 验证生效

1)命令行测试验证

curl 和 wget 测试使用代理,请参考米扑代理的使用示例总结的非常全面!强烈推荐!

这里,直接使用米扑代理的最简单示例:

curl -m 30 --retry 3 -x http://58.87.90.149:8888 http://proxy.mimvp.com/exist.php | grep 'color="red"'
                             
   <font color="red">58.87.90.149</font>
curl -m 30 --retry 3 -x http://58.87.90.149:8888 -k https://proxy.mimvp.com/exist.php | grep 'color="red"'
                            
    <font color="red">58.87.90.149</font>

tinyproxy 支持 http 和 https 两种协议,经米扑代理测试,成功!

 

2)Firefox 插件测试

首先,安装 Proxy Switcher

其次,配置代理,如下图:

centos-7-an-zhuang-tinyproxy-dai-li-fu-wu-qi-01

然后,访问米扑代理网站,验证代理

https://proxy.mimvp.com/exist.php

centos-7-an-zhuang-tinyproxy-dai-li-fu-wu-qi-02

上图里,http_via 带有参数,要隐藏需要修改配置文件

vim /etc/tinyproxy/tinyproxy.conf

隐藏掉Via请求头部,去掉下面的注释

DisableViaHeader Yes

重启 tinyproxy

systemctl restart tinyproxy.service

 

 

网友评价

非常棒的总结,按照米扑代理的配置步骤,都配置成功了!分享米扑代理的测试方法:

curl 和 wget 测试使用代理,请参考米扑代理的使用示例,总结的非常全面!强烈推荐!

米扑代理的使用示例https://proxy.mimvp.com/demo2.php

这里,直接使用米扑代理的最简单示例:

curl -m 30 --retry 3 -x http://58.87.90.149:8888 http://proxy.mimvp.com/exist.php | grep 'color="red"'
                             
   <font color="red">58.87.90.149</font>
curl -m 30 --retry 3 -x http://58.87.90.149:8888 -k https://proxy.mimvp.com/exist.php | grep 'color="red"'
                            
    <font color="red">58.87.90.149</font>

 

 

2
0
查看评论

利用 Tinyproxy 搭建 HTTP(S) 代理

在天朝每月总有那么几天访问网站不够顺畅,你懂的。虽然 可以使用 Google Translate 来应个急,但并非 100% 有效,比如最近我在访问 wireshark.org 时就遇到了问题。好在我们还能搭建 HTTP(S) 代理。目前市面上有许多 HTTP(S) 代理 软件可以选择,我们将...
  • WHACKW
  • WHACKW
  • 2015-09-10 09:50
  • 5672

TinyProxy 安装 (不需要证书支持https)

CentOS搭建HTTP代理(TinyProxy),CentOS如何搭建HTTP代理(TinyProxy),CentOS如何搭建部署安装HTTP代理(TinyProxy) 安装方法: 1 rpm -Uvh http://dl.fedoraproject.org/...
  • saga_gallon
  • saga_gallon
  • 2016-12-19 15:16
  • 2985

Http代理tinyproxy配置

安装tinyproxy, 参考文档:http://www.zhixing123.cn/ubuntu/42673.html 步骤: (1)yum install tinyproxy.x86_64 (2)编辑配置文件, vim /etc/tinyproxy/tinyproxy.c...
  • courage89
  • courage89
  • 2015-12-24 16:14
  • 5091

移植tinyproxy http代理服务器

由于项目需要,要在开发板上运行一个http代理服务器,首先尝试了squid的移植,没成功,最终选择了轻量级的http代理服务器tinyproxy 移植成功,下面就记录一下过程。 开发环境: PC系统:ubuntu10.04 开发板:mini2440,linux3.11.10 http服务器:PC,u...
  • xiaominthere
  • xiaominthere
  • 2014-03-12 22:07
  • 3103

基于TinyProxy搭建HTTP代理服务器

一、前言     关于为什么要玩玩HTTP代理就不用我多说了。 二、搭建环境     * Linux laptop 2.6.32-45-generic #100-Ubuntu SMP Wed Nov 14 10:41:11 UTC 201...
  • abee23
  • abee23
  • 2013-05-07 14:23
  • 10954

tinyproxy

Linux 下面的http代理服务器软件。 和squid相比,tinyproxy更小,更好使用。 第一步:下载tinyproxy的源码并编译:tinyproxy-1.8.3.tar.bz2 编译会出现问题,提示没有找到asciidoc,将configure里面的那几行注释掉。 ...
  • ee230
  • ee230
  • 2013-10-25 16:47
  • 6364

eclipse下tinyproxy代理服务器其工程

  • 2013-11-18 14:59
  • 712KB
  • 下载

Linux下的wget和curl如何使用http proxy

简单备忘一下Linux下的wget和curl如何使用http proxywget -e "http_proxy=porxyhost:port" www.baidu.com curl -x proxyhost:port www.baidu.com
  • kkdelta
  • kkdelta
  • 2016-01-06 10:05
  • 13668

CentOS如何部署TinyProxy

TinyProxy是个非常便利,及容易架设的HTTP代理 安装方法 rpm -Uvh http://dl.fedoraproject.org/pub/epel/6Server/x86_64/tinyproxy-1.8.3-1.el6.x86_64.rpm yum update y...
  • biocq
  • biocq
  • 2013-12-01 16:44
  • 2373

Tiny HTTP Proxy V1.0 By WinEggDrop

  • 2009-03-18 13:54
  • 5KB
  • 下载
    个人资料
    • 访问:12258491次
    • 积分:90822
    • 等级:
    • 排名:第16名
    • 原创:719篇
    • 转载:169篇
    • 译文:16篇
    • 评论:3070条
    学习经历
    中科院、百度、创新工场、小米、阿里巴巴、米扑科技

    期货从业资格证(2017.03)
    基金从业资格证(2016.11)
    证券投资顾问证(2016.9)
    证券从业资格证(2016.6)
    系统架构设计师(2013)
    软件设计师(2008)
    CSDN创业专访

    程序员创业邦
    QQ群: 239292073
    青春,每一个有梦想的人

    资深产品经理人
    QQ群: 338142405
    思与行,人人都是产品经理

    爱脚本,爱技术
    QQ群: 320296250
    (已满)
    python、ruby、php、go、shell

    程序人生的平凡生活
    QQ群: 282297696
    (已满)
    汇聚百度、小米、微软、腾讯、
    创新工场、阿里巴巴、日本雅虎
    个人博客
    博客专栏
    博客公告
    本博客内容,由米扑博客精心整理
    欢迎交流,欢迎转载,大家转载注明出处,禁止用于商业目的。

    文章分类
    文章存档