硬件问题 hdfs的硬件或者文件系统引起(inode满了、磁盘故障、盘符不可见、文件系统故障等) 内存问题 hadoop---MR(mapreduce)--内存设置_狂奔的工程师的博客-CSDN博客 各种限制

非java程序(c++、shell程序)在MR内存设置上，和java程序有很大差异，如果按照java程序的方式设置，很容易采坑，具体如下： MR中各个内存情况 因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。mapreduce.{map|reduce}.java.opts能够通过Xm

做kv引擎，考虑是否做raid及raid几的问题，这个blog感觉总结的挺好， https://blog.csdn.net/yangyijun1990/article/details/106738525

hadoop客户端启动不了几个程序，就报内存错误，分析发现java虚拟机虚拟内存占用比较大，物理内存占用较小，调整 HADOOP_CLIENT_OPTS参数解决(java虚拟机一旦把内存分配出去，即使没有使用，内存也会被锁定)。 HDFS的JVM参数配置文件: hadoop-env.sh Namenode进程的JVM配置: HADOOP_NAMENODE_OPTS Datanode进程的JVM配置:HADOOP_DATANODE_OPTS client命令行的JVM配置:HADOOP_CLI.