Hadoop 中的大数据技术：调优篇（1）

Hadoop 中的大数据技术：调优篇（1）

第1章 HDFS—核心参数

1.1 NameNode内存生产配置

1. NameNode内存计算

   每个文件块大约占用150字节。以一台服务器128GB内存为例，可以存储多少文件块？

   • 128×1024×1024×1024128×1024×1024×1024 / 150 字节 ≈ 9.1亿
   • G | MB | KB | 字节

2. Hadoop 2.x系列，配置NameNode内存

   NameNode内存默认为2000MB，如果服务器内存为4GB，NameNode内存可以配置为3GB。在

   hadoop-env.sh
   

   文件中配置如下：

   HADOOP_NAMENODE_OPTS=-Xmx3072m
   

3. Hadoop 3.x系列，配置NameNode内存hadoop-env.sh中描述Hadoop的内存是动态分配的

   # The maximum amount of heap to use (Java -Xmx).  If no unit
   # is provided, it will be converte