友好界面的爬虫监控系统

为了满足公司业务需求,作者开发了一套基于Express、Bootstrap、Kibana、Zabbix、Elasticsearch和Logstash的爬虫监控系统。系统采用前后端分离,数据来源于微服务,ELK栈为自建。尽管代码可能不便于大规模扩展,但作为基础监控系统的参考,它能提供一些帮助。项目已开源,详细信息和GitHub链接见正文。
摘要由CSDN通过智能技术生成

背景:

由于公司业务需要,我最近几天开发一套爬虫监控系统,技术体系:express(nodejs的web框架)+bootstrap(前端框架)+kibana(日志分析)+zabbix(服务器监控)+es(分布式搜索引擎)+logstash(日志收集)。


系统采用完全前后端分离的方式,数据来源均来自各个微服务,另外elk需要自己搭建,并没有将启动文件集成到项目中(比较懒。。。),此套开源系统的代码,可能算不上一套很容易扩展的系统,只能说算是一个普通监控系统的base,希望能给有需求的朋友带来方便,比较水,勿喷。(已经脱敏!当然后面的爬虫系统架构也是我参与的,代码就不放了,公司隐私)

有图有真相:

 

评论 14
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值