通过 Spark Streaming Listener 监控程序

本ppt来自于4月23-25日举行的 Spark + AI Summit 2019。作者来自 SPOTX公司，该公司大量使用到了 Spark Streaming，其每天处理数十亿条记录，监控是很重要的。所以该公司的开发人员利用 Streaming Listeners 来监控他们的程序，他们利用这个把 Kafka 的消费偏移量保存到 MySQL，并将处理的每个批次处理的消息数写入到 Influx，然后提供了可视化监控。

关注 过往记忆大数据 微信公众号并回复 listener 获取本文 PPT。

猜你喜欢

欢迎关注本公众号：iteblog_hadoop:

回复 spark_summit_201806 下载 Spark Summit North America 201806 全部PPT

回复 spark_summit_eu_2018 下载 Spark+AI Summit europe 2018 全部PPT

回复 HBase_book 下载 2018HBase技术总结 专刊

回复 all 获取本公众号所有资料

0、回复 电子书 获取 本站所有可下载的电子书

1、Apache Spark 2.4 回顾以及 3.0 展望

2、重磅 | Apache Spark 社区期待的 Delta Lake 开源了

3、Apache Spark 3.0 将内置支持 GPU 调度

4、分布式原理：一致性哈希算法简介

5、分布式快照算法: Chandy-Lamport 算法

6、Kafka分区分配策略

7、分布式原理：一文了解 Gossip 协议

8、列式存储和行式存储它们真正的区别是什么

9、HBase Rowkey 设计指南

10、HBase 入门之数据刷写详细说明

11、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop) 12、Flink中文文档： http://flink.iteblog.com 13、Carbondata 中文文档： http://carbondata.iteblog.com