- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 kafka broker Leader -1引起spark Streaming不能消费的故障解决方法
一、问题描述：Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了，并且系统起不来了，使得线上的spark Streaming实时任务不能正常消费，重启实时任务都不行。查看kafka topic状态，发现broker Leader出现-1的情况，如下图二、问题分析Kafka Broker Leader 为-1，表示有partition在选举Leader的时候失败...
2019-05-22 14:13:27
2474
2
原创 ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM的一种解决方案
问题现象：spark应用能正常计算得到结果，但是查看executor有很多是dead，如下图查看executorstderr日志发现有错误日志：ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM除此之外没有其他任何错误信息问题原因:由于使能动态资源分配executors数(spark.dy...
2019-05-08 11:11:57
32217
2
原创 Spark SQL合并小文件的一种方法
小文件问题原因：spark.sql.shuffle.partitions=200 sparksql默认shuffle分区是200个，如果数据量比较小时，写hdfs时会产生200个小文件。可通过如下调整，使其自适应的合并小文件(本人测试环境从原来的200个小文件合并成一个文件)解决方法：spark-sql> set spark.sql.adaptive.enabled=t...
2019-05-07 17:20:19
12875
7
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人