weixin_45611397的博客

安装 scrapyd服务端sudo pip install scrapyd最好加sudo 否则可能出现环境问题修改scrapyd配置文件使用find查找到 default_scrapyd.conf 文件sudo find / -name default_scrapyd.conf进入目录下编辑default_scrapyd.conf 文件将bind_address由127.0.0.1修改成0.0.0.0允许远程访问通过sudo scrapyd启动scrpyd之后在腾讯..

在腾讯云里配置代理池（ProxyPool）——通过Docker方法参考网址：https://www.bilibili.com/read/cv12056474前言通过Github上的项目：https://github.com/jhao104/proxy_pool在该项目中,通过爬虫定时抓取网上的免费代理IP，入库并定时检测有效性，然后用flask+gunicorn挂起一个服务，提供接口去拿到经检测有效可用的代理IP作者还额外提供了docker镜像，们只需提供redis地址即可一键部署proxy_p