在EC2上利用squid搭建爬虫代理服务器

本文的命令是在ubuntu上运行的，其他操作系统类似

1. 安装squid

sudo apt-get update
sudo apt-get install squid

2. 安装htpasswd，用于验证

sudo apt-get install apache2-utils

3. 创建访问代理的用户名密码：

sudo mkdir /etc/squid/
sudo htpasswd  -c /etc/squid/passwd xiaoming
# 然后根据提示输入密码

4. 验证用户名密码

# 也有可能是 /usr/lib64/squid/basic_ncsa_auth   /etc/squid/passwd
/usr/lib/squid/basic_ncsa_auth   /etc/squid/passwd
#出现空行时输入用户名密码，如：
xiaoming 666666

5. 编辑squid配置文件：

sudo vim /etc/squid/squid.conf

添加配置（搜索到 http_access allow 这一行，加以修改，或者注释原有的配置）：

#下面这行取决于前面你是如何配置的，可根据你的实际环境进行相应修改
auth_param basic program /usr/lib/squid/basic_ncsa_auth /etc/squid/passwd  
acl auth_user proxy_auth REQUIRED
http_access allow auth_user

# 添加下面这两句可以使代理高匿
via off
forwarded_for delete

默认的开放端口是3128，如需修改则搜索 http_port 3128 然后进行相应修改

6. 重载配置或重启服务以生效：

 sudo squid3 -k reconfigure
# 或者
sudo service squid restart