前几天做项目遇到了Hadoop宕机的问题,现将解决的办法分享给大家:
1.如果是MR造成的系统宕机,就要控制Yarn同时运行的任务数和每个任务运行的最大内存,可以通过调整参数:yarn.scheduler.maximum-mb(单个任务可申请的最多物理内存,默认是8192MB)
2.如果是写入文件过量造成的NameNode宕机,那么就要调高kafka的存储大小,控制从kafka到HDFS的写入速度,一般我们在高峰期的时候要用kafka进行缓存,高峰期过去之后数据同步会自动跟上。
前几天做项目遇到了Hadoop宕机的问题,现将解决的办法分享给大家:
1.如果是MR造成的系统宕机,就要控制Yarn同时运行的任务数和每个任务运行的最大内存,可以通过调整参数:yarn.scheduler.maximum-mb(单个任务可申请的最多物理内存,默认是8192MB)
2.如果是写入文件过量造成的NameNode宕机,那么就要调高kafka的存储大小,控制从kafka到HDFS的写入速度,一般我们在高峰期的时候要用kafka进行缓存,高峰期过去之后数据同步会自动跟上。