scrapy
scrapy相关技术
wiidi
这个作者很懒,什么都没留下…
展开
-
scrapy调用parse(),parse()调用func()使用yield
在scrapy中调用parse()方法,parse()方法中调用其他函数func(),func需要返回Item,使用方法如下: #在parse()中调用其他yield函数,需要写成写成循环并yield其中的内容 def parse(): # 正确调用 for item in parse_comment(a, b): yield item # 错误调用,无法得到数据 parse_comment(a, b) def parse_comment(a,b):原创 2020-12-28 10:16:10 · 1103 阅读 · 1 评论 -
Unknown command: crawl
部署在服务器中,设置定时任务时: 52 11 * * * nohup /home/anaconda3/bin/python3 /home/monitor/monitor/resources/start.py > /home/monitor/monitor/logs/cron_log.log 2>&1 & 报错 : Unknown command: crawl 解决方法: 进入到scrapy文件夹中,构建shell启动爬虫,定时调度脚本: start.sh source /et原创 2020-12-28 15:04:53 · 820 阅读 · 2 评论