NameNode主备宕机引发的思考

大家都知道在双十一这些电商大型营销活动期间，电商网站的访问量等是平时的N倍。每当这个时候到来，无论是开发还是运维人员都严阵以待生怕服务出现问题。很不幸，笔者的一个朋友在一家电商公司上班，在双十一时，恰恰就出现了NameNode宕机的生产事故。
鉴于涉及到一些公司私密信息，不便发一些排查问题截图，同时，JVM调优作为大数据从业者必备技能，笔者打算后续分篇系统阐述，这里仅就问题现象、问题分析、解决方案三个层面阐述这次生产事故从产生、排查到最终解决的历程。希望能给大家带来一定思考，避免此类事情的发生以及提供出现类似问题时处理的一个思路。
问题现象
电商节日，各种促销活动等导致网站访问量等激增，数据量比平时多了很多倍，然后NameNode主备都挂了！问题排查的时候发现有大量的full GC日志
问题分析
NameNode的主要职责就是管理元数据，不会频繁创建和销毁对象，官方推荐1/4–1/3给年轻代，剩下的给老年代。当然这个配比应对平时的数据量是没有问题的，但在这种大型营销活动盛行的时候，网站访问量激增带来的是数据量激增，那么NameNode需要管理的元数据也会激增，对NameNode的内存是一个很大挑战。

1. 正常情况下，对象创建最初在新生代Eden区，Eden区放满，进行minor GC到Survivor区，反复进行minor GC，当Survivor对象年龄达到默认"15"岁，存活的对象进入老年区
2. Namenode启动时加载元数据到堆内存，元数据一般不会改变，会一直加载到老年代，当日新增数据量特别大时，NameNode加载大量数据到老年代，然后当老年代空间不足发生full GC，日志