![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫框架
weixin_43880277
这个作者很懒,什么都没留下…
展开
-
爬虫验证码问题
爬虫验证码问题 在采集数据过程中,经常会出现验证码的问题。我们可以使用打码平台进行机器识别。同时也可以手动完成。 现在有一个需求就是关于手动解决验证码的问题:当出现验证码时,出现一个提示窗口,要求手动输入验证码,再验证是否正确,如果为True,则继续采集。 第一种解决思路: 携带cookie 数值,弹出的窗口上会显示验证页面的链接,人眼识别之后,输入对话框,随机程序再携带验证结果post请求。 ...原创 2018-12-29 14:18:09 · 984 阅读 · 1 评论 -
scrapyd设置远程登录
scrapyd设置远程登录 scrapyd是管理爬虫一个模块,可以查看爬虫的运行状态。 安装: pip install scrapyd#linux下 使用的python3.6版本 安装完成之后 可以测试下 是否 已经可以使用: linux: curl http://localhost:6800/ Windows:因为安装完成之后默认的是本机进行连接,所以如果想要远程访问,则需要修改scrapyd...原创 2019-01-02 11:38:11 · 584 阅读 · 0 评论