Scrapy通过扩展启用爬虫完成后消息通知,支持钉钉/微信/飞书等

背景

使用过scrapy的开发者都知道,scrapy在爬取结束后是允许发送邮件通知的

它内部是通过外部扩展extension的方式集成于scrapy的。

邮件实现功能类
https://docs.scrapy.org/en/latest/topics/email.html

邮件异步通知扩展类
https://docs.scrapy.org/en/latest/topics/extensions.html#module-scrapy.extensions.statsmailer

在使用过程中需要配置邮箱的信息及收件人list,那有没有更简单明了的方案呢?

我想到的答案是:钉钉通知

Server酱

得益于【Server酱】提供的API,通过简单的配置即可实现微信消息通知。

Server酱是什么 (来源官网)
在这里插入图片描述

通过微信授权登录,即可拥有SendKey,利用这个SendKey及提供的api,可以快速的把文本消息转发到指定的通道。

官网测试发送:
在这里插入图片描述

微信收到消息:

](https://img-blog.csdnimg.cn/img_convert/39961dac8d5f5f1b86cf9c3a0dc39c33.png)

消息转发渠道:

集成到scrapy

通过阅读scrapy源码,可以很轻松的学习到其email扩展类的写法,模仿其写法,即可很简单快捷的(笔者仅用5分钟)将微信通知集成到项目中去。

邮件功能入口:scrapy/mail.py
扩展入口:scrapy/extensions/statsmailer.py

为了项目的整洁一致(洁癖),在项目目录下新建extensions扩展包,然后编写statsding.py代码


                
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值