安装tinyproxy
作用:管理代理 ip, 使自己的服务器 ip 能够当做 ip 代理使用安装
# centos
sudo yum install tinyproxy
# ubuntu
sudo apt install tinyproxy
打开配置文件
vim /etc/tinyproxy/tinyproxy.conf
vim /etc/tinyproxy.conf 搜索并修改以下配置
# 注释掉这一行
# Allow 127.0.0.1
# 修改端口号
Port 1801
修改完了保存退出
重启服务:
systemctl restart tinyproxy
日志文件的路径:
/var/log/tinyproxy/tinyproxy.log
查看日志 :tail -f /var/log/tinyproxy/tinyproxy.log
每间隔 五分钟重启 tinyproxy
crontab -e
在最后面添加
*/5 * * * * systemctl restart tinyproxy
查看:crontab -l
测试ip 代理是否成功:方法一:
scrapy shell
import requests
requests.get(' http://httpbin.org/ip ',proxies={'http':'http://122.152.225.175:1801 }).json()
这里,服务器安全组要打开 1801端口
方法二:
set HTTP_PROXY = HTTP://122.152.225.175:1801 设置全局变量
转载请注明转自:https://blog.csdn.net/Owen_goodman/article/details/80942769