爬虫开发04--代理IP

代理IP

• 反爬机制：检测请求的ip在单位时间内，请求访问的次数；超过设定的阈值，服务器拒绝请求的访问；--即封IP
• 反反爬策略：使用代理进行请求的发送；
• 代理：破解封IP的反爬机制；
• 代理服务器：实现IP伪装
  • 在本机和web服务器间，搭建了一个中转桥梁，本机不直接发送请求到web服务器；
  • 本机向代理服务器发起请求，代理服务器会把请求中转发送给web服务器；web服务器响应的数据，由代理服务器转发给本机；
• 代理作用：
  • 可以突破自身IP访问的限制，不会因为请求多被封IP；
  • 隐藏自身真实的IP，避免被攻击；
• 国内免费IP代理网站：
  • 全网代理IP（免费） ：http://www.goubanjia.com/

代理名称	状态	更新速度	可用率	地址
无忧代理	√	★	*