177.Hadoop（九）：生产调优手册（一）：NameNode内存生产、心跳并发配置，回收站配置，hdfs集群压测配置，多目录配置，扩容缩容，存储优化

目录

一、NameNode内存生产配置

1.NameNode内存计算

2.Hadoop2.x系列，配置NameNode内存

3.Hadoop3.x系列，配置NameNode内存

二、NameNode心跳并发配置

三、开启回收站配置

四、HDFS集群压测

1.设置网络

2.写性能压测

3.读性能压测

五、 hdfs多目录配置

1.NameNode多目录配置

2.DataNode多目录的配置

3.集群数据均衡：磁盘间数据均衡

六、HDFS—集群扩容及缩容

1.配置白名单

（1）创建白名单

（2）修改白名单

2.不关机动态新增服务器

3.服务器间数据均衡

4.黑名单退役服务器

七、HDFS—存储优化

1.纠错码

（1）五台服务器环境准备

（2）纠删码使用

2.冷热数据分离（异构存储）

（1）存储类型

（2）存储策略

（3）异构存储的常用shell

4.异构存储具体实现

---

一、NameNode内存生产配置

1.NameNode内存计算

每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？

128 * 1024 * 1024 * 1024  / 150Byte ≈  9.1亿

2.Hadoop2.x系列，配置NameNode内存

NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g。在hadoop-env.sh文件中配置如下：

HADOOP_NAMENODE_OPTS=-Xmx3072m