HDFS生产调优大全

一、HDFS——核心参数

1.NameNode内存生产配置

1）NameNode内存计算

每个文件大概占用150字节，一台服务器128G内存为例，能存储128*1024*1024*1024/150Byte=9.1亿 约等于9亿块

2）Hadoop2.x配置NameNode内存

NameNode内存默认2000M，如果服务器内存4G，NameNode内存可以配置3g，在hadoop-env,.sh文件中配置HADOOP_NAMENODE_OPTS=-Xmx3072m

3)hadoop3.x 配置NameNode内存

hadoop-env.sh中描述Hadoop的内存是动态分配的，NameNode和DataNode占用内存都是自动分配的

2.开始回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。

二、HDFS—集群压测