文/鑫爷 图片来源于网络
Issue in 2014
Pull request in 2019
https://github.com/scrapy/scrapyd/pull/326 pull request #326
试用
1、安装:
pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth`
PR 已被合并:
pip install -U git+https://github.com/scrapy/scrapyd.git
2、更新配置文件 scrapyd.conf
,其余配置项详见官方文档
[scrapyd]
username = yourusername
password = yourpassword
3、启动:scrapyd
In [1]: import requests
In [2]: requests.get('http://127.0.0.1:6800/').status_code
Out[2]: 401
In [3]: requests.get('http://127.0.0.1:6800/', auth=('admin', 'admin')).status_code
Out[3]: 401
In [4]: requests.get('http://127.0.0.1:6800/', auth=('yourusername', 'yourpassword')).status_code
Out[4]: 200
4、由于 Scrapyd 的 GitHub 最新提交已经重构了 Jobs 页面,如果正在使用 ScrapydWeb 管理 Scrapyd,则需同步更新 ScrapydWeb:
pip install -U git+https://github.com/my8100/scrapydweb.git
用Python创建微信机器人
用Python机器人监听微信群聊
用Python获取摄像头并实时控制人脸
开源项目 | 用Python美化LeetCode仓库
推荐Python中文社区旗下的几个服务类公众号
征稿启事 | Python中文社区有奖征文
▼ 点击成为社区注册会员 「在看」一下,一起PY!