代理服务器

8 篇文章 0 订阅

爬虫正常运行过程中正常抓取数据,但有时可能就会遇到错误,比如403 Forbidden,表示服务器拒绝客户端的访问,此时你可能会看到“您的IP访问频率太高”这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比如,当服务器检测到某个IP在单位时间内的请求次数超过了设定的阈值,就会直接拒接服务,返回一些错误信息,这种情况称为封IP。解决这种问题的有效方式之一时使用代理伪装IP。

一、代理的基本原理

代理实际上指的就是代理服务器,英文叫作proxy server,它的功能是代理网络用户去取得网络信息,可以将它理解为网络信息的中转站。在我们正常请求一个网站时,是发送了请求给Web服务器,Web服务器把响应传回给我们。如果设置了代理服务器,实际上就是在本机和服务器之间搭建了一个桥,此时本机不是直接向Web服务器发起请求,而是向代理服务器发出请求,然后由代理服务器再发送给Web服务器,接着代理服务器再把Web服务器返回的响应转发给我们本机。这样我们同样可以正常访问网页,但这个过程中Web服务器识别出的真实IP就不再是我们本机的IP了,这样就成功实现了IP伪装。


二、代理的作用

  • 突破自身IP访问限制,访问一些平时不能访问的站点。
  • 访问一些单位或团体内部资源。比如使用教育网内地址免费代理服务器,就可以用于对教育网开放的各类FTP下载上传,以及各类资料查询共享等服务。
  • 提高访问速度。通常代理服务器都会设置一个较大的硬盘缓冲区,当有外界信息通过时,将其保存到缓冲区中,当其他用户再访问相同的信息时,则直接在缓冲区中取出信息传给用户,以提高访问速度。
  • 隐藏真实IP。上网者可以通过代理隐藏自己的IP,免受攻击。对于爬虫来说,使用代理就是为了隐藏自身IP,防止自身的IP被封锁。


三、代理的分类

1、根据协议区分
根据代理的协议,代理可以分为如下类别:

  • FTP代理服务器。主要用于访问FTP服务器,一般有上传、下载以及缓存功能,端口一般为21、2121等。
  • HTTP代理服务器。主要用于访问网页,一般有内容过滤和缓存功能,端口一般为80、8080、3128等。
  • SSL/TLS代理。主要用于访问加密网站,一般有SSL或TLS加密功能(最高支持128位加密强度),端口一般为443。
  • RTSP代理。主要用于访问Real流媒体服务器,一般有缓存功能,端口一般为554。
  • Telnet代理。主要用于telnet远程控制(黑客入侵计算机时常用于隐藏身份),端口一般为23。
  • POP3/SMTP代理。主要用于POP3/SMTP方式收发邮件,一般有缓存功能,端口一般为110/25。
  • SOCKS代理。只是单纯传递数据包,不关心具体协议和用法,所以速度快很多,一般有缓存功能,端口一般为1080。SOCKS代理协议又分为SOCKS4和SOCKS5,前者只支持TCP,而后者支持TCP和UDP,还支持各种身份验证机制、服务端域名解析等。简单来说SOCK4S能做到的SOCKS5都可以做到,反过来就不一定。

2、根据匿名程度区分
根据代理的匿名程度,代理可以分为如下类别:

  • 高度匿名代理。会将数据包原封不动地转发,在服务端看来就好像真的普通客户端在访问,而记录的IP是代理服务器的IP。
  • 普通匿名服务器。会在数据包上做一些改动,服务端有可能会发现这是个代理服务器,也有可能追查到客户端的真实IP。代理服务器通常会加入的HTTP头有HTTP_VIA和HTTP_X_FORWARDED_FOR。
  • 透明代理。不但改动了数据包,还会告诉服务器客户端的真实IP。这种代理除了能用缓存技术提高浏览速度,能用内容过滤提高安全性之外,并无其他显著作用,最常见的例子是内网中的硬件防火墙。
  • 间谍代理。指组织或个人创建的用于记录用户传输的数据,然后进行研究、监控等目的的代理服务器。


三、常见的代理设置

1)使用网上的免费代理。最好使用高匿代理,另外可用的代理不多,需要在使用前筛选一下可用代理,也可以进一步维护一个代理池。

2)使用付费代理服务。互联网上存在许多代理商,可以付费使用,质量比免费代理好很多。

3)ADSL拨号。拨一次号换一次IP,稳定性高,也是一种比较有效的解决方案。


参与评论 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页

打赏作者

上善若水。。

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值