VPS自建爬虫代理服务

前言

爬虫原先一直想用免费的代理,但是实践表明,免费的东西,质量就是很差的.

恰好手上有好几台VPS,所以想自己搭建一个代理,这个自建的代理肯定就是好用的!

具体的方法是采用squid来搭建代理.

方法

安装squid

apt-get update
apt-get install squid3

安装密码服务

网络上有很多专门爬免认证的代理的爬虫,如果我们自己搭建的代理服务器不加认证的话,会被这些爬虫探测到然后沦为了免费代理。

使用htpasswd来创建passwords文件,htpasswd命令在软件包apache2-utils中。

apt-get install apache2-utils

生成密码

htpasswd -bc /etc/squid/password <your username> <your password>

加上读权限

chmod o+r /etc/squid/password

修改squid配置文件

vim /etc/squid/squid.conf

首先注释

#http_access deny all

然后修改默认端口3128

http_port 8732

最后在末尾加上

#允许的客户端ip
acl allcomputers src 0.0.0.0/0.0.0.0
#配置用户名密码,后面会生成passwords文件
auth_param basic program /usr/lib/squid/basic_ncsa_auth /etc/squid/password
auth_param basic realm proxy
acl authenticated proxy_auth REQUIRED
http_access allow authenticated allcomputers
request_header_access X-Forwarded-For deny all  
request_header_access From deny all  
request_header_access Via deny all

启动代理服务

service squid3 start

这时候,在本地验证一下:

curl -x http://<your username>:<your password>@ip_address:port ip.cn

可以看到已经成功经过了代理访问

阅读更多

扫码向博主提问

去开通我的Chat快问

nghuyong

非学,无以致疑;非问,无以广识
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/nghuyong/article/details/79867225
文章标签: 代理服务器 爬虫
个人分类: 爬虫
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭