spark
文章平均质量分 63
wwd_hb
这个作者很懒,什么都没留下…
展开
-
Spark-Streaming任务消费Kafka中topic(Resource)堆积问题排查&恢复
1. 观察该该topic消费组 Resource-group确定为Spark-Streaming任务消费resource主题出现堆积,堆积数据20Y2.访问spark master web ui 查看 Resource任务,发现running applications 中该没有该任务,该任务已经死掉,查看死掉应用日志发现日志中只有一句: Received signal term. 没有其他错误...原创 2019-12-25 17:58:54 · 750 阅读 · 0 评论 -
Spark踩坑之旅
1、Spark standalone 模式集群,使用zk作为服务状态一致性协调器,当zk leader宕机,spark master也跟着挂掉问题描述:zk leader宕机之后,spark master节点也出现宕机情况,spark standby master转换为master,若在宕机的master节点恢复健康之前zk leader又出现宕机,那么spark集群挂掉原创 2017-10-24 09:32:18 · 1647 阅读 · 0 评论