各个大数据相关框架启动与停止的命令

zookeeper:

三个节点上都执行： zkServer.sh start 启动单个节点的zk服务

查看zk进程是否存在：jps ，发现一个进程 QuorumPeerMain

zkServer.sh status 查看该zk服务器是follower还是leader。

hdfs:

start-dfs.sh

stop-dfs.sh

查看hdfs进程是否存在：jps

bin/hdfs zkfc -formatZK 在node01机器上进行zookeeper的初始化，其本质工作是创建对应的zookeeper节点

journalnode:

/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/hadoop-daemon.sh start journalnode 三台机器执行以下命令启动journalNode，用于我们的元数据管理

/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hdfs namenode -initializeSharedEdits -force node01机器上准备初始化journalNode

/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/hadoop-daemon.sh start zkfc 在node01、node02上分别启动zkfc进程

yarn(mr):

start-yarn.sh

stop-yarn.sh

查看yarn进程是否存在：jps

jobhistory:

mr-jobhistory-daemon.sh start historyserver

mr-jobhistory-daemon.sh stop historyserver

查看jobhistory进程是否存在：jps ，

flume:

cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin

启动：flume-ng agent -n a1 -c conf -f conf/wifi.conf -Dflume.root.logger=INFO,console（已经配置flume的环境变量）

停止：以上启动方式是前台启动，可以直接按ctrl+C

hive：

nohup hive --service hiveserver2 &

nohup hive --service metastore &

查看hive进程是否存在：jps 发现多了2个RunJar进程。

impala：

service impala-state-store start | stop | restart

service impala-catalog start | stop | restart

service impala-server start | stop | restart

查看impala进程是否存在：ps -ef | grep impala

hue：

cd /export/servers/hue-3.9.0-cdh5.14.0

build/env/bin/supervisor

如配置了环境变量：则直接执行：supervisor

查看hue进程是否存在：ps -ef | grep hue

oozie：

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozied.sh start | stop

如配置了环境变量，则直接执行：oozied.sh start | stop

查看oozie进程是否存在：jps 发现多了一个Bootstrap进程。

kafka: （需要三台机器上都执行该命令）

cd /export/servers/kafka_2.11-1.0.0/

启动：nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

停止：bin/kafka-server-stop.sh

查看kafka进程是否存在： jps 发现多了一个Kafka进程。

storm: （需要三台机器上都执行相应的命令）

cd /export/servers/apache-storm-1.1.1

Node01 启动相关服务

启动 nimbus进程: nohup bin/storm nimbus >/dev/null 2>&1 &

启动web UI: nohup bin/storm ui >/dev/null 2>&1 &

启动logViewer: nohup bin/storm logviewer >/dev/null 2>&1 &

启动supervisor: nohup bin/storm supervisor >/dev/null 2>&1 &

Node02启动相关服务

nimbus： nohup bin/storm nimbus >/dev/null 2>&1 &
logviewer： nohup bin/storm logviewer >/dev/null 2>&1 &
supervisor： nohup bin/storm supervisor >/dev/null 2>&1 &

node03启动相关服务

nimbus： nohup bin/storm nimbus >/dev/null 2>&1 &
logviewer： nohup bin/storm logviewer >/dev/null 2>&1 &
supervisor： nohup bin/storm supervisor >/dev/null 2>&1 &

停止：直接kill -9 storm的进程号

启动storm的拓扑任务：

cd /export/servers/apache-storm-1.1.1/

bin/storm jar logMonitor.jar cn.itcast.storm.logMonitor.LogMonitorMain logMonitor

停止storm的拓扑任务： bin/storm kill logMonitor （注意：对应该拓扑任务，有2个进程LogWriter, worker，直接kill -9 这2个进程的进程号，是没用的！）

spark：（需要先启动zk，才可以构建高可用SPARK集群，可以先启动HDFS，以便于整合hdfs）

/export/servers/spark-2.1.3-bin-hadoop2.7/sbin/start-all.sh ：启动所有的master和worker。

启动spark-shell：

spark-shell --master local[2]

指定具体的master地址：spark-shell --master spark://node01:7077

另外，还有sqoop，azkaban。

其中sqoop不需要启动服务，用的时候直接执行sqoop export | import就行。