lp895876294的博客

presto(trino)国产化、专用涉密操作系统适配。支持hive2、hive3，支持hadoop2和hadoop3。修改源码，调整so文件加载机制。

一、SecondaryNameNode概念： 光从字面上来理解，SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是，ssn是HDFS架构中的一个组成部分，它真正的用途，是用来保存namenode中对HDFS metadata信息的备份，并减少namenode重启的时间。hadoop的默认配置中让snn进程默认运行在了namenode的那台机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，更好的方式是：将snn的进程配置在另外一台机器上运行...

参考：《深入浅出：Hadoop的start-balancer.sh与hdfs balancer分布式数据均衡》https://yq.aliyun.com/articles/719679

总结下safemode模式

数据处理

需要完善内容

问题描述调用stop-dfs.sh脚本，提示无法找到namenode和datanode服务，但在各个服务节点上namenode和datanode正常运行，并且webdfs服务可以正常运行。原因分析hadoop脚本将各个服务运行的进程号pid存在了临时目录/tmp下，而centos系统会对/tmp临时目录下长时间不用的文件的进行清理。由于集群管理员长时间没有管理集群服务(重启等)，导致/tmp中进行号文件pid被操作系统清理，所以hadoop脚本找不到正在运行的服务，最终导致无法正常停止运