大数据组件相关操作命令

1.【HDFS】

将本地文件上传到HDFS：hdfs dfs -put a.txt /data
将HDFS的文件下载到本地：hdfs dfs -get /a.txt .
查看HDFS根目录下的所有文件：hdfs dfs -ls /
查看HDFS上某个文件的内容：hdfs dfs -cat /a.txt
查看HDFS上某个文件的大小：hdfs dfs -du -h /a.txt

2.【YARN】

yarn相关命令参考文档：http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YarnCommands.html

常用命令：
查看yarn任务运行情况（这条命令只能查看submitted、accepted、running状态的Application）：yarn app -list
杀死yarn上某一个程序：yarn app -kill （applicationId）
查看yarn任务运行日志并写到文件中：yarn logs -applicationId application_1517538889175_2550 > logs.txt
提交一个jar包到yarn上运行：yarn jar xxx.jar （mainClass） （args）
启动或停止yarn集群某个节点/进程：yarn --daemon start/stop nodemanager
在yarn中创建临时flink集群，并提交job到集群：bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 flink-job.jar
停止flink job ：bin/flink cancel -yid application_1629775156800_0767