sparkstreaming
毛毛虫之路
这个作者很懒,什么都没留下…
展开
-
实时告警架构优化实战
简介线上有一个告警服务采用sparkstreaming+kafka的模式实时处理数据进行布控告警,10s一个批次,34个executor,每个4core,kafka有260个分区,采用直读的方式并且打开了慢执行推测。运行一段时间后,都没有延迟,目前布控任务有1000个左右,每天4000万的数据需要处理,昨晚业务突然添加了2000个布控任务,导致任务有积压,导致告警延迟两个多小时,经过排查,...原创 2019-12-20 20:27:45 · 994 阅读 · 1 评论 -
hbase写入一段时间后变的越来越慢
一、概况集群环境如下表:集群 机器 存储 内存 CPU 每日数据 HW大数据平台 160台 6PB 10TB 8000 10亿 数据存储在kafka中,130个分区,采用sparkstreaming将数据清洗后,通过phoneix批量写入...原创 2019-09-19 17:32:25 · 5831 阅读 · 1 评论