利用salt搭建hadoop集群

自动化工具有很多。。今天总结一下salt安装hadoop 步骤，学习过程。

1，机器列表

hosts文件    只需要将namenode的两台机器上配置 ，不解释了。

2.salt-master在107.3上，salt的配置如下图。

3.启动步骤

 

这一步  

salt -N zk cmd.run "su zookeeper -c ''source /etc/profile && cd /app/zookeeper/bin && ./zkServer.sh start'"   (启动zk)

 

①

salt cnsz20pl2420 cmd.run "su hdfs -c 'source /etc/profile && hdfs zkfc -formatZK'"

格式化zk

 

②

salt -N jn cmd.run "su hdfs -c 'source /etc/profile && hadoop-daemon.sh start journalnode'"

启动journalnode

一定要查看日志看是否启动，一定哦，一切问题看日志。。。

③启动两个namenode

注意salt 主机名   cmd.run   类似下图

 

 

 

 

④启动datanode节点

 

 ⑤启动resourcemansger和zkfc（namenode间配ssh免密。否则zkfc切换不过去，就是namenode异常是无法切换的。。）

 

 ⑥，开启历史日志服务

⑦启动datanode节点上的yarn.

权限稍微改改就好了，再重启一次。，前面启动的再重启不会影响。

 

 

去网页上就可以看到这样的界面啦。

 

yarn界面

 

启动

salt -N nn cmd.run 'su - yarn -c "yarn-daemon.sh start resourcemanager"'

 

 

看日志已经起来了。接下来去页面上去看资源与HDFS存储就好了。

Hbase明天继续。后续会详细讲如何搭建起来一个生产环境完整的。。。

转载于:https://www.cnblogs.com/hit-zb/p/8424189.html