hadoop学习笔记1----构造模块与集群安装ssh与启动Hadoop

最新推荐文章于 2023-12-01 08:59:29 发布

知识就是力量119

最新推荐文章于 2023-12-01 08:59:29 发布

阅读量598

点赞数 1

分类专栏： hadoop

本文链接：https://blog.csdn.net/jj_yuan/article/details/23289439

版权

本文介绍了Hadoop的构造模块，包括NameNode、DataNode、Secondary NameNode、JobTracker和TaskTracker的角色和功能。接着详细阐述了如何在集群上进行无口令SSH设置，包括生成SSH密钥对、分布公钥以及验证过程。最后，文章提供了启动和检查Hadoop运行的步骤，包括配置文件修改、启动和停止守护进程，并提到了基于WEB的Hadoop用户界面。

摘要由CSDN通过智能技术生成

一、构造模块

1. NameNode：名字节点，HDFS的主端，它指导从端的DataNode执行底层的I/O任务，一信集群有一个主端，由于其比较耗内存与IO，一般是单独部署在一台服务器上。

2. DataNode：数据节点，每个集群的从节点都会驻留一个DataNode守护进程，来执行分布式文件系统的繁重工作----将HDFS数据块读取或写入到本地文件系统的实际文件中。

3. Secondary NameNode：SNN 监测HDFS集群状态的辅助守护进程。一般也是单独部署在一台服务器上。

4. JobTracker：是应用程度与hadoop之间的纽带，代码提交到集群上，JobTracker就会确定执行计划，包括处理哪些文件，为不同的任务分配节点及监控所有的任务运行，如果任务失败，JobTracker将重启任务。每个集群只有一个JobTracker守护进程，一般跟NameNode在一个节点上。

5. TaskTracker：管理各个任务在每个节点上的执行情况。不断与JobTracker通信，如果JobTracker在指定时间没有收到来自TaskTracker的“心跳”，它会假定TaskTracker崩溃，重新提交相应任务到其他节点中。

二、集群安装SSH：使用无口令（passphraseless）SSH