Hadoop报错 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded

今天在查看Hadoop平台上HDFS数据文件文件半天没反应，最后报错：Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded，超出GC开销限制。报这种错误常见的原因有以下几种：
1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据；
2.集合类中有对对象的引用，使用完后未清空，使得JVM不能回收；
3.代码中存在死循环或循环产生过多重复的对象实体；
4.启动参数内存值设定的过小；

我用以下命令

hadoop fs -count /user/

查看下该文件目录下有多少文件，发现已经有几十万个文件了，那报这个错误基本断定是：一次从HDFS中读取过多数据文件，HDFS内存中加载的数据量过于大超出了设定的内存阀值。Hadoop也是Java开发的，Java中所有的对象都存储在堆中，通常如果JVM无法再分配新的内存，内存耗尽，垃圾回收无法及时回收内存，就会抛出OutOfMemoryError。

既然是内存不足，那解决的办法就是把HDFS的内存设置大点。我这里是在Ambari控制台调大了

当然也可以修改hadoop-env.sh文件中对应的值

把这些参数调大了之后就能正常查看文件了。