Hadoop内存大小设置问题

namenode管理着集群里面所有文件的信息。简单根据文件信息给出一个准确计算内存大小的公式是不现实的。

hadoop默认namenode内存的大小为1000M，这个值对于数百万的文件来说是足够的，可以保守地设置每百万数据块需要1000MB内存。

例如，有这样一个场景，一个含有200个节点的集群，每个节点有一个24TB的磁盘，hadoop的block的大小为128MB，有三份拷贝总共需要块的数目大概在200万或者更多，那么内存大致需要多少？

首先计算可以有多少块：

（20024000000MB)/(128MB3)=12500,000。
（节点数每个节点的磁盘大小）/ (Block大小备份数）

然后保守估计需要多少内存：

12500,000*1000MB（默认内存）/1000,000（百万文件）=12,500MB

从上面的计算结果看出，将namenode内存的大小设置为12,000MB这个数量级别可以满足。

计算大致的值之后，怎么设置呢？

hadoop配置文件，hadoop-env.sh中有个选项HADOOP_NAMENODE_OPTS，此JVM选项是用来设置内存大小的。比如：

export HADOOP_NAMENODE_OPTS=-Xmx2000m
那么就是给namenode分配了2000MB的空间。

如果改变了namenode的内存大小，那么secondarynamenode的内存的大小同样也要改变，其选项是HADOOP_SECONDARYNAMENODE_OPTS。