hdfs命令报内存溢出错误

现象

$ hdfs dfs -ls -R /user/spark/spark2ApplicationHistory > temp.
Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
        at java.lang.invoke.MethodType$ConcurrentWeakInternSet.get(MethodType.java:1230)
        at java.lang.invoke.MethodType.makeImpl(MethodType.java:301)
        at java.lang.invoke.MethodTypeForm.canonicalize(MethodTypeForm.java:349)

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "main"

原因

客户端进程默认配置的内存是256MB，如果操作的数据量大，可能内存溢出导致操作失败。

解决

$ export HADOOP_CLIENT_OPTS=" -Xmx2G"                         
$ hdfs dfs -ls -R /user/spark/spark2ApplicationHistory