- 如果是MapReduce造成的系统宕机,此时要控制Yarn同时运行的任务数,和每个任务申请的最大内存。调整参数:yarn.scheduler.maximum-allocation-mb(单个任务可申请的最多物理内存量,默认是8192MB)。
- 如果是写入文件过量造成NameNode宕机,那么调高Kafka的存储大小,控制从Kafka到HDFS的写入速度,高峰期的时候用Kafka进行缓存,高峰期过去数据同步会自动跟上。
你是怎么处理Hadoop宕机的问题的?
最新推荐文章于 2023-04-03 22:03:37 发布