hadoop集群启动及各服务启动命令

1)Hadoop的启动(先启动zookeeper)

3台都得启动 zookeeper
/export/servers/zookeeper-3.4.9/bin/zkServer.sh start
/export/servers/zookeeper-3.4.9/bin/zkServer.sh status 查看状态
/export/servers/zookeeper-3.4.9/bin/zkServer.sh stop 关闭

在node01执行启动hadoop操作:
cd /export/servers/hadoop-2.7.5/
bin/hdfs namenode -format 此步只在初次启动时操作
sbin/start-dfs.sh
sbin/start-yarn.sh
上面2步合并为 sbin/start-all.sh
sbin/mr-jobhistory-daemon.sh start historyserver

2)node03开启mysql /etc/init.d/mysqld start
登录测试: mysql -uroot -p 123456

3)azkaban集群启动
1.先启动 exec-server
进入到azkaban-exec目录下执行2个命名
bin/start-exec.sh
curl -G “node03:$(<./executor.port)/executor?action=activate” && echo //手动激活 executor

2.启动 web-server
进入到azkaban-web目录下执行
bin/start-web.sh

https://node03:8443/index 默认用户名密码 azkaban

4)hive启动( 使用beeline连接hiveserver2)
方式1:进入到hive目录下启动
cd /export/servers/apache-hive-2.1.1-bin
启动元数据存储服务:
bin/hive --service metastore &
启动hiveserver2:
bin/hive --service hiveserver2 &

方式2:nohup命令启动(带 & 后台启动,nohup深度后台启动)
nohup /export/servers/apache-hive-2.1.1-bin/bin/hive --service metastore &
nohup /export/servers/apache-hive-2.1.1-bin/bin/hive --service hiveserver2 > /dev/null 2>&1 &

可以把/dev/null 可以看作"黑洞". 它等价于一个只写文件. 所有写入它的内容都会永远丢失. 而尝试从它那儿读取内容则什么也读不到.
/dev/null 2>&1则表示吧标准输出和错误输出都放到这个“黑洞”，表示什么也不输出。

//使用beeline连接hiveserver2:
cd /export/servers/apache-hive-2.1.1-bin
bin/beeline
beeline> !connect jdbc:hive2://node03:10000

5)impala集群启动
!必须先保证hive开启
主节点node03启动以下三个服务进程
service impala-state-store start
service impala-catalog start
service impala-server start

从节点启动node01与node02启动impala-server
service impala-server start

查看impala进程是否存在
ps -ef | grep impala

浏览器页面访问：
访问impalad的管理界面
http://node03:25000/
访问statestored的管理界面
http://node03:25010/

测试:
在node03机的任意目录
输入: impala-shell

6)oozie启动:
cd /export/servers/oozie-4.1.0-cdh5.14.0
关闭oozie服务
bin/oozied.sh stop

启动oozie服务
bin/oozied.sh start
浏览器页面访问：
http://node03:11000/oozie/

7)hue启动:
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor