爬虫所使用的的HTTP代理是什么？

在爬取某些网站时，我们经常会设置HTTP代理IP来避免爬虫程序被封。我们获取代理 IP 地址方式通常提取国内的知名 IP 代理商的免费代理。这些代理商一般都会提供透明代理，匿名代理，高匿代理。那么这几种代理的区别是什么？我们该如何选择呢？本文的主要内容是讲解各种代理IP背后的原理。

1、代理类型

代理类型一共能分为三种。透明代理，匿名代理，高匿代理，从安全程度来说，这四种代理类型的排序是 高匿 > 匿名 > 透明。

2、代理原理

代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中，这三个变量REMOTE_ADDR，HTTP_VIA，HTTP_X_FORWARDED_FOR是决定性因素。

1) REMOTE_ADDR

REMOTE_ADDR 表示客户端的 IP，但是它的值不是由客户端提供的，而是服务器根据客户端的 IP 指定的。

如果使用浏览器直接访问某个网站，那么网站的 web 服务器（Nginx、Apache等）就会把 REMOTE_ADDR 设为客户端的 IP 地址。

如果我们给浏览器设置代理，我们访问目标网站的请求会先经过代理服务器，然后由代理服务器将请求转化到目标网站。那么网站的 web 服务器就会把 REMOTE_ADDR 设为代理服务器的 IP。

2）X-Forwarded-For（XFF）

X-Forwarded-For 是一个 HTTP 扩展头部，用来表示 HTTP 请求端真实 IP。当客户端使用了代理时ÿ