HTTP 代理

本文介绍了代理IP在爬虫中的作用,包括防止被目标网站屏蔽和提高爬取效率。代理IP分为不同类型,如FTP、HTTP、SSL/TLS、Telnet和SOCKS,每种都有特定用途。此外,还详细阐述了代理的匿名程度,包括高度匿名、普通匿名、透明代理和间谍代理。在企业级微服务网关项目中,代理IP的使用对于实现前端后端一体化至关重要。
摘要由CSDN通过智能技术生成

 
参考视频教程:  
 **(毕设项目)Vue+Go前端后端一体化 企业级微服务网关项目  **
HTTP 代理:

(1) 如果我们一直用同一个IP去爬取同一个网站上的网页,久了之后可能会被该网站服务器屏蔽,因此我们可以使用代理IP来爬取,代理实际上指的就是代理服务器
(2) 当我们使用代理IP爬取时,服务器端显示的是代理IP的地址,即使被屏蔽了,我们可以换一个代理IP继续爬取,代理IP获取页面:https://www.xicidaili.com/


根据协议区分代理:

(1) FTP 代理:主要用于访问 FTP 服务器, 一般有上传、下载以及缓存功能
(2) HTTP 代理:主要用于访问网页,一般有内容过滤和缓存功能
(3) SSL/TLS 代理:主要用于访问加密网站, 一般有 SSL 或TLS 加密功能(最高支持128 位加密强度)
(4) Telnet 代理:主要用于 telnet 远程控制(黑客人侵计算机时常用于隐藏身份)
(5) SOCKS 代理: 只是单纯传递数据包,不关心具体协议和用法,所以速度快很多, 一般有缓存功能


根据匿名程度区分代理:

(1) 高度匿名代理:会将数据包原封不动地转发,在服务端看来就好像真的是一个普通客户端在访问,而记录的 IP 是代理服务器的 IP
(2) 普通匿名代理:会在数据包上做一些改动, 服务端上有可能发现这是个代理服务器,也有一定几率追查到客户端的真实IP
(3) 透明代理:不但改动了数据包,还会告诉服务器客户端的真实IP,这种代理除了能用缓存技术提高浏览速度,能用内容过滤提高安全性之外,并无其他显著作用
(4) 间谍代理:指组织或个人创建的用于记录用户传输的数据,然后进行研究、监控等目的的代理服务器

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值