问题1:resourcemanager进程
在Yarn框架设计中其采用了Master/Slave结构,其中Master实现为ResourceManager,负责整个集群资源的管理与调度;
我在yarn-site.sh的配置文件中设置了指定主机有这个,其他虚拟机没有 结果发现三台虚拟机都有
这下面分别是02 和03 的虚拟机进程
分析:检查yarn配置文件 看是否是打错了
首先:进入到hadoop目录下
cd /opt/modules/hadoop/etc/hadoop
其次:到yarn配置文件里面
vi yarn-site.xml
最后:检查我们的配置文件
- 这里我发现我指定resourcemanager地址时
- 下面的<name></name>中的单词写错了 少写了一个a
- 所以没有识别到指定地址,我们更改就好了
更改后:
因为我是用scp命令分发到另外两台的 所以另外的虚拟机也要改
更改后:
更改后记得重启哦!(小编这里没有重启 所以我的进程还是没有改变 试了试重启 发现改变成功)
直接输入命令:reboot
还有或者是改了第一台主机后可以直接分发 就不用重启了(但是这里要很久就没有分发)
重启之后进入sbin目录
cd /opt/modules/hadoop/sbin/
启动hadoop集群(dfs和yarn)
下一步是查看进程 jps
这里有一个方法 可以输入命令到三台虚拟机(xshell软件中)
查看——>撰写——>撰写窗格
点击撰写窗格,位于最下方
怎么选择是当前会话还是全部会话呢
点击 按钮—>全部会话
第一台主机进程01:
第二台虚拟机进程02:
第三台虚拟机进程03:
这里就更改成功了!!!
同学们会不会觉得必须要在指定的文件目录下 才能启动hadoop集群 太麻烦了 这样怎么解决呢?
可不可以像查看java版本和hadoop版本一样 随便在什么地方都可以查询呢?
我想要任意目录下启动hadoop集群
这里演示一下(我在根目录下):
- 这里就是无论在什么地方 都可以查看版本
- 这两个是在profile文件下配置的 所以我们能不能在这个文件里面配置hadoop的集群启动命令呢
- 无论是hadoop的启动还是停止(start/stop)都在sbin文件下配置的
- 所以我的想法是 要把sbin加在profile文件里面
首先进入到配置文件:
vi /etc/profile
- sbin文件目录是在hadoop下 所以需要在Hadoop_HOME后面配置
- 把sbin目录下加入到后面就好了
- 保存(wq)
更新配置文件(这里有两种方法)
source /etc/profile 或者. /etc/profile
source /etc/profile
. /etc/profile
直接在根目录下关闭集群
stop-all.sh
查看进程 jps 处了java进程 并没有其他进程了!!!