代理服务器的基本原理(proxy server):它的功能是代理网络用户去获取网络信息。形象地说,它是网络信息的中转站。
在我们正常请求一个网站时,是发送了请求给Web服务器,Web服务器把响应传给我们。如果设置了代理服务器,实际上就是在本机和服务器之间搭建了一个桥,此时本机不是直接向Web服务器发送请求,而是向我们的代理服务器发出请求,请求会发送给代理服务器,然后由代理服务器再发送给Web服务器。Web服务器响应请求再通过代理服务器转发给本机。这样就是我们通过代理服务器发起请求并响应请求的过程。这个过程中Web服务器识别的真实IP就不再是我们本机的IP啦,就成功实现了IP伪装,这就是代理的基本原理。
代理的作用:
1.突破自身的IP访问限制,访问一些平常不能访问的站点。
2.提高访问速度:通过代理服务器都设置一个较大的硬盘缓冲区,当外界的信息通过时,同时也将其保存到缓冲区中。当用户再次访问相同信息时,则直接有缓冲区中取出信息,传给用户,以提高访问速度。
3.隐藏真实IP:上网的用户可以通过这种方法隐藏自己的IP,免受攻击。但是,对于爬虫来说,代理就是为了隐藏自身IP,防止自身的IP被封锁,从而达到很好的爬取效果。
常见代理的分类:
1.FTP代理服务器:主要访问FTP服务器,一般有上传,下载以及缓存功能,端口号为21
2.HTTP代理服务器:主要用于访问网页,一般有内容过滤和缓存功能,端口为80(8080)
3.SSL/TSL代理:主要访问加密网站,端口为443
4.Telnet代理:主要用于telnet远程控制(黑客入侵计算机时常用语隐藏身份),端口为23
5.POP3/SMTP:用于收发邮件
代理服务器
最新推荐文章于 2023-09-21 18:19:37 发布