scrapy
别挡着我发光
这个作者很懒,什么都没留下…
展开
-
使用selenium控制浏览器实现自动指定文件夹下载app
前两天帮一个朋友写了个自动下载app的脚本,发现了一个问题:在网上找的配置谷歌浏览器下载文件的代码中:prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory': 'd:\\'}大多数人都是使用这样的配置,但是由于我也不知道什么东西的改版导致这个方法行不通,需要自己选择下载路径。后...原创 2020-03-02 11:39:57 · 560 阅读 · 0 评论 -
python定时启动多个爬虫,解决(twisted.internet.error.ReactorNotRestartable)报错
最开始是使用commands方法启动的多个爬虫,但是这种方法在使用定时任务的时候会出现只能跑一次的情况from scrapy.commands import ScrapyCommandfrom scrapy.utils.project import get_project_settingsclass Command(ScrapyCommand): requires_project...原创 2020-01-14 17:57:19 · 3832 阅读 · 1 评论 -
Scrapy框架初始化请求为POST的两种方法
Scrapy框架初始化请求为POST的一些坑第一次碰到scrapy框架第一个请求为post,找到的两种方法,记录一下第一种是使用携带 method='POST' 的方法:yield scrapy.FormRequest(url='https://*****************', method='POST', formdata={'Type': 'UpComing,Live'}, cal...原创 2019-12-26 17:29:51 · 605 阅读 · 0 评论