问题原因:根目录下生成太多的小文件,导致元数据加载到client客户端时会引起内存不足
解决办法:
加大HADOOP_CLIENT_OPTS的配置,
export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS"
HADOOP_CLIENT_OPTS="-Xmx2048m" hadoop dfs -ls /
发现hadoop根目录都是*.txt小文件的测试数据,执行删除命令:HADOOP_CLIENT_OPTS="-Xmx2048m" hadoop dfs -rm -r /*.txt