MartinGQ的博客

4.小文件归档* HDFS存储小文件的弊端每个文件均按块存储，每个块的元数据存储在 NameNode 的内存中，因此 HDFS 存储小文件会非常低效。因为大量的小文件会占用 NameNode 中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个 1MB 的文件设置为 128MB 的块存储，实际使用的是 1MB 的磁盘空间，而不是 128MB。* 解决存储小文件的弊端HDFS归档文件，是一个更高效的文件存档工具，它将文件存入 HDFS 块，在减少 NameNode 内存使.

1.NameNode故障处理* NameNode进程挂掉如果只是 NameNode 进程挂掉了，那么执行以下命令重启即可。hdfs --daemon start namenode* NameNode进程挂掉且数据被删除如果 NameNode 的数据不小心被删除了，那么可以把 SecondaryNameNode 中的数据拷贝到 NameNode 中，并重启 NameNode 进程。注意：SecondaryNameNode 不是 NameNode 的备份，SecondaryNameNode 中的

纠删码异构存储（冷热数据分离）

1.添加白名单、黑名单设置白名单和黑名单后，只有白名单上的主机节点允许访问 NameNode；不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出，黑名单一般用来退役主机节点。同一个主机节点不能同时配置在白名单和黑名单中* 步骤（1）在目录/opt/module/hadoop-3.1.3/etc/hadoop下，创建文件 whitelist 和 blacklist（文件名称可自定义）。（2）在文件 whitelist 和 blacklist 中分别写入想要添加到白名单或黑.

NameNodeDataNode

1.通过限制网速，看测试结果的速度是否“满速”2.通过不限制网速，看测试结果的速度是否接近硬盘读写速度

以下配置均针对Hadoop3.x系列1.NameNode、DataNode内存配置配置文件：hadoop-env.sh由hadoop-env.sh文件中的描述可知：（1）守护进程将在 _OPT参数中选择 Xmx设置作为Hadoop内存大小。（2）Hadoop的内存默认是动态分配的：若在 _OPT参数中没有设置 Xmx，则JVM会根据服务器内存大小，自动为Hadoop分配内存。# The maximum amount of heap to use (Java -Xmx). I..