大数据中经常使用的指令：

1、Hadoop：

        1、关闭Hadoop集群的安全模式：

hdfs dfsadmin -safemode leave


#查看集群的模式的状态：
hdfs dfsadmin -safemode get

        2、启动、关闭Hadoop集群：

start-all.sh
stop-all.sh

       查看hdfs目录下的文件：

hdfs dfs -ls 文件目录

        查看hdfs中文件的内容：

hdfs dfs -cat 文件路径

        3、停止yarn中进程的命令：

yarn application -kill 进程号

        4、查看yarn中的log日志：

yarn logs -applicationID 进程号

        5、查看HDFS中文件大小的命令：

hdfs dfs -du -h 文件路径

        6、查看yarn中的任务的id：

yarn application -list

        7、查看历史的命令记录：

history  | grep   hive


在历史的命令中查找使用hive的相关的命令。

2、zookeeper：

        1、启动、关闭zookeeper集群的命令：

zkServer.sh start   #需要在每一个节点上都启动
zkServer.sh stop     #同样也是需要在每一个节点上启动

        2、查看zookeeper集群的状态：

zkServer.sh status

3、kafka：

        1、启动kafka，多台节点都需要启动：

kafka-server-start.sh  -daemon[后台启动] /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

4、Flink SQL

        1、启动Flink SQL的命令：

前提是先启动Flink集群或者是Flink的独立集群：
yarn-session.sh -d


启动Flink SQL
sql-client.sh 

5、hive相关的命令：

1、开启hive的元数据服务：

nohup hive --server metastore &  后台启动

6、MySQL相关的命令：

        1、启动Mysql：

mysql -u 用户名  -p  密码

        2、重启mysql服务：

systemctl  restart mysqld

7、hive的相关的命令：

1、开启元数据服务的命令：

nohup  hive --service metastore  &    --后台开启


2、hive的三种交互的方式：

1、hive

-- hive作为服务器，外界连接
2、beeline -u jdbc:hive2://master:10000 -n root


--使用-e参数来直接执行hql的语句

hive -e（-f） 'show databases';

可以使用-f 参数通过指定文本文件来执行hql的语句，特点就是执行完sql后，回到linux命令行。
hive  -f hive.sql 

8、Kafka的相关命令：

kafka启动的顺序：

1、先启动zookeeper,分别在不同的节点上启动：

zkServer.sh  start

查看zookeeper的状态：

zkServer.sh status




2、启动kafka,也是分别在不同的节点上启动：

kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

kafka测试：

创建一个生产者：
kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties


创建一个消费者
kafka-console-consumer.sh --bootstrap-server  master:9092,node1:9092,node2:9092 --from-beginning --topic bigdata

9、Flink

关闭flink的命令：

yarn application -list --找出flink正在进行的进程号
yarn application -kill 进程号 关闭对应的进程号

Flink启动会话集群的命令：

yarn -session.sh -d