Hadoop Datanode频繁重启

     最近客户某行CDH集群扩容新加两台服务器后，新加的两个节点datanode出现频繁重启，排查datanode日志出现大量full gc日志，没有error日志直接进程退出重启，但是服务器tmp目录下生成了hprof文件，这说明datanode出现了内存溢出。客户方排查了新增服务器参数配置，datanode 参数配置跟其它节点都是一样的，其它节点并不会出现频繁重启。

     客户安全管控比较严格，必须进操作间才能查看，远程无法看到什么有用信息。于是出差客户行，查看这两台datanode的日志，发现没有啥错误日志，除了频繁gc,还出现了大量slow 日志，怀疑网络，磁盘问题，监控没有发现异常，也没发现其它异常。想了下是不是它本身就是内存不足呢，于是查看datanode上的数据块分布，发现新增的这两台服务器上的数据块是其它节点的4倍，datanode频繁重启原因找到了，就是块太多内存不够，调大内存后（调大到了几十个G，100w个块1G）datanode就没出现过重启，服务恢复正常。datanode一般4-8个g就够用了，客户cdh集群小文件太多才出现问题，后续优化合并小文件。