1.基准测试
搭建完hadoop集群后需要对HDFS读写性能和MR计算能力测试,测试jar包在hadoop的share文件夹下.
2.hadoop宕机
1)如果MR造成系统宕机,此时要控制Yarn同时运行的任务数,和每个任务申请的最大内存,调整参数:
yarn.scheduler.maximum-allocation-mb(单个任务可申请的最多物理内存,默认是8192MB)
2)如果写入文件过快造成NameNode宕机,那么调高KafKa的存储大小,控制从Kafka到HDFS的写入速度,例如:可以调整Flume每批次拉取数据量的大小参数batchsize.
4.hadoop数据倾斜
1)提前在map进行combine,减少传输的数据量.
2)加随机前缀.跑两个MR