大数据生态圈的Linux启动相关命令--zookeeper、HDFS 和 YARN、Hive、Flume、Sqoop、Impala、Azkaban、Oozie、Hue

1.集群linux环境搭建-关闭防火墙

	service iptables stop   #关闭防火墙
	chkconfig iptables off  #禁止开机启动

2.zookeeper服务(启动三台)

启动zookeeper服务器：
	/export/servers/zookeeper-3.4.9/bin/zkServer.sh start
停止zookeeper服务器:
 	/export/servers/zookeeper-3.4.9/bin/zkServer.sh stop
查看启动状态：
	/export/servers/zookeeper-3.4.9/bin/zkServer.sh  status
登录Zookeeper客户端
	/export/servers/zookeeper-3.4.9/bin/zkCli.sh  -server node01:2181
进程名:QuorumPeerMain
查看状态:/export/servers/zookeeper-3.4.9/bin/zkServer.sh status
日志信息:/export/servers/zookeeper-3.4.9/zookeeper.out

3.启动 Hadoop 集群，启动 HDFS 和 YARN

注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。
hdfs namenode -format 或者 hadoop namenode –format
	
	cd  /export/servers/hadoop-2.7.5/
	bin/hdfs namenode -format
启动HDFS、Yarn、JobHistory:
	sbin/start-dfs.sh
	sbin/start-yarn.sh
	sbin/mr-jobhistory-daemon.sh start historyserver
	
	**start-all.sh	启动hdfs	还有yarn集群**
	
stop命令
	sbin/stop-dfs.sh
	sbin/stop-yarn.sh
	sbin/mr-jobhistory-daemon.sh stop historyserver
日志:
	/export/servers/hadoop-2.7.5/logs 如：hadoop-root-datanode-node03.log 
访问页面:
   http://node01:50070  #HDFS页面
   http://node01:19888  #历史页面
   http://node01:8088   #yarn页面 

4.Hive 的交互方式

**进程名字:** 
     metastore   : RunJar
	 hiveserver2 :RunJar
 **启动hive之必须先启动mysql**
 mysql ---> hive ---->impala

第一种交互方式 bin/hive

cd /export/servers/apache-hive-2.1.1-bin/
bin/hive

第二种交互方式：使用sql语句或者sql脚本进行交互

cd /export/servers/apache-hive-2.1.1-bin
bin/hive -e "create database if not exists mytest;"

第三种交互方式：通过hive -f 来执行我们的sql脚本

bin/hive -f /export/servers/hive.sql

第四种交互方式：使用beeline连接hiveserver2
前台启动hiveserver2服务：

cd /export/servers/apache-hive-2.1.1-bin/
bin/hive --service hiveserver2

后台启动（和metastore ）

nohup bin/hive --service metastore &   
nohup bin/hive --service hiveserver2  > /dev/null 2>&1 &
**注： > /dev/null会导致日志打入黑洞

使用beeline连接hiveserver2

bin/beeline
beeline> !connect jdbc:hive2://node03:10000

hive优化：数据量少，小于128M时，启动本地模式
命令：set hive.exec.mode.local.auto=true;

日志:

 /export/servers/apache-hive-2.1.1-bin/nohup.out  #后台启动日志
 /tmp/root/hive.log  #普通的hive日志	

5.Flume启动脚本命令

在 flume 安装目录下执行 ：
	bin/flume-ng agent -c conf -f conf/avro_source_hdfs_sink.conf -name a1 -Dflume.root.logger=DEBUG,console

6.Sqoop导入导出

sqoop根目录：cd /export/servers/sqoop/

#导入案例
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--delete-target-dir \
--target-dir /sqoopresult \
--table emp --m 1

#导出 案例
bin/sqoop export \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--table employee \
--export-dir /emp/emp_data

7.Apache Impala

  客户端连接 metastore 服务，metastore 再去连接 MySQL 数据库来存取元数
据。有了 metastore 服务，就可以有多个客户端同时连接
cd /export/servers/apache-hive-2.1.1-bin/
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &

Impala主节点 node03 启动以下三个服务进程

service impala-state-store start
service impala-catalog start
service impala-server start

从节点启动 node01 与 node02 启动 ：
impala-server

service impala-server start

impala-shell进入命令：
	impala-shell

查看 impala 进程是否存在
ps -ef | grep impala

 日志：
cd /var/log/impala 
如果catalogd服务没有启动，则查看catalogd.ERROR文件

如果需要关闭 impala 服务 把命令中的 start 该成 stop 即可。注意如果关闭
之后进程依然驻留，可以采取下述方式删除。正常情况下是随着关闭消失的。
解决方式：

rm -rf /tmp/hsperfdata_impala/

8.Azkaban 调度器

进程名字:AzkabanWebServer ， AzkabanExecutorServer

solo-server 模式启动

cd azkaban-solo-server-0.1.0-SNAPSHOT/
bin/start-solo.sh
访问 Web Server=>http://node01:8081/ 默认用户名密码 azkaban

two-server 模式

 启动：
	 1:先启动exec-server
	  cd /export/servers/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT
	  bin/start-exec.sh 
	 2:激活exec-server
	  curl -G "node03:$(<./executor.port)/executor?action=activate" && echo
	 3:启动web-server
	  cd /export/servers/azkaban/azkaban-web-server-0.1.0-SNAPSHOT
	  bin/start-web.sh 
  关闭
	  cd /export/servers/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT
	  bin/shutdown-exec.sh 
	  cd /export/servers/azkaban/azkaban-web-server-0.1.0-SNAPSHOT
	  bin/shutdown-web.sh 

multiple-executor 模式

启动之后，需要手动激活 executor
cd /export/servers/azkaban/execserver
curl -G "node-3:$(<./executor.port)/executor?action=activate" && echo

日志:
/export/servers/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/webServerLog_2019-12-29+16:10:53.out

访问页面:
https://node03:8443

9.Apache Oozie

进程名字:Bootstrap

启动命令
	cd /export/servers/oozie-4.1.0-cdh5.14.0
	bin/oozied.sh start 
关闭命令
	bin/oozied.sh stop
	 
  注意，如果提醒pid文件存在，则删除以下文件之后再启动
   rm -f /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/temp/oozie.pid
 日志:
   /export/servers/oozie-4.1.0-cdh5.14.0/logs/oozie.log
 访问页面:
   http://node03:11000

10.Apache Hue

进程名字: ps -ef  | grep hue
	启动 Hue、Web UI 访问
	cd /export/servers/hue-3.9.0-cdh5.14.0/
	build/env/bin/supervisor
日志：
	/export/servers/hue-3.9.0-cdh5.14.0/logs/supervisor.log
页面访问路径：
	http://node01:8888