爬虫监控1000家企业新闻动态

开源一个项目 Github地址

简介： 此项目可监控近千家中国企业的官方网站的新闻动态，如有更新，系统能在 5 分钟之内通过邮件发送更新的标题和链接。 更新的信息流也可通过浏览器查看。监控的公司和站点可以添加删除。

原理： 采用 celery 任务队列，定期抓取网站 html, 使用 difflib 比对新旧页面源码，发现增加的部分，提取 url 和 text，过滤筛选，保存 MySQL 数据库。 定期把更新的 url 和 text，通过邮件发送给订阅者。

news feed

转载于:https://juejin.im/post/59ddc13d6fb9a0452b48352f