Hadoop集群中常用组件的命令(后续补充)

1. Hadoop HDFS：

启动HDFS：start-dfs.sh
关闭HDFS：stop-dfs.sh
格式化NameNode：hdfs namenode -format
查看文件系统状态：hdfs dfsadmin -report
创建目录：hdfs dfs -mkdir /path/to/directory
上传本地文件到HDFS：hdfs dfs -put /path/to/local/file /path/to/hdfs/directory
下载HDFS文件到本地：hdfs dfs -get /path/to/hdfs/file /path/to/local/directory
查看HDFS文件内容：hdfs dfs -cat /path/to/hdfs/file
删除HDFS文件：hdfs dfs -rm /path/to/hdfs/file

2. Hadoop YARN：

启动YARN：start-yarn.sh
关闭YARN：stop-yarn.sh
查看YARN节点状态：yarn node -list
查看YARN应用程序状态：yarn application -list
提交YARN应用程序：yarn jar /path/to/app.jar com.example.Application arg1 arg2
杀死YARN应用程序：yarn application -kill application_id

3. Hadoop MapReduce：

提交MapReduce作业：hadoop jar /path/to/job.jar com.example.Job input_path output_path
查看MapReduce作业状态：mapred job -list
杀死MapReduce作业：mapred job -kill job_id

4. Hive：

启动Hive服务：hive --service hiveserver2
关闭Hive服务：hive --service hiveserver2 --stop
连接到Hive服务：beeline -u jdbc:hive2://localhost:10000
查看Hive表列表：show tables;
创建Hive表：create table table_name (column1 type1, column2 type2, …)
插入数据到Hive表：insert into table table_name values (value1, value2, …)
查询Hive表数据：select * from table_name
删除Hive表：drop table table_name

5. Spark

启动Spark集群：start-all.sh
关闭Spark集群：stop-all.sh
启动Spark Shell：spark-shell
提交Spark应用程序：spark-submit --class com.example.Application /path/to/app.jar arg1 arg2
查看Spark应用程序状态：spark-submit --status application_id
杀死Spark应用程序：spark-submit --kill application_id

6. ZooKeeper：

启动ZooKeeper：zkServer.sh start
关闭ZooKeeper：zkServer.sh stop
连接到ZooKeeper客户端：zkCli.sh -server localhost:2181
创建ZooKeeper节点：create /path/to/node data
获取ZooKeeper节点数据：get /path/to/node
更新ZooKeeper节点数据：set /path/to/node new_data
删除ZooKeeper节点：delete /path/to/node

7. Redis：

启动Redis：redis-server /path/to/redis.conf
关闭Redis：redis-cli shutdown
连接到Redis客户端：redis-cli -h hostname -p port -a password
设置Redis键值对：set key value
获取Redis键值对：get key
删除Redis键值对：del key

8.Flink

1.启动和停止Flink集群
启动Flink集群：./bin/start-cluster.sh
停止Flink集群：./bin/stop-cluster.sh
2.提交和取消作业
提交作业：./bin/flink run <path/to/job.jar>
取消作业：./bin/flink cancel
3.查看作业和任务状态
查看作业列表：./bin/flink list
查看作业状态：./bin/flink list -r
查看任务状态：./bin/flink list -t
4.查看作业日志
查看作业日志：./bin/flink log
5.告诉Flink任务已完成: ./bin/flink advance
6.查看Flink配置：./bin/flink run -m : <path/to/job.jar>
7.查看Flink Web UI
Flink Web UI默认端口为8081，通过浏览器访问即可： http://:8081

9.Flume

1. 启动Flume Agent
   启动Flume Agent需要使用flume-ng命令，以及指定配置文件的路径。例如：

$ flume-ng agent --conf-file /path/to/flume.conf --name agent-name
#这里的`/path/to/flume.conf`为Flume Agent的配置文件路径，`agent-name`为Flume Agent的名称。

2. 停止Flume Agent
   停止Flume Agent需要使用kill命令，以及指定Flume Agent的进程ID。例如：

$ ps -ef |grep Flume 
$ kill -9 pid
#这里的`pid`为Flume Agent的进程ID，可以使用ps命令查看: 。

3. 查看Flume Agent的状态
   查看Flume Agent的状态需要使用flume-ng命令，以及指定Flume Agent的名称和命令。例如：

$ flume-ng agent --name agent-name --status
#这里的`agent-name`为Flume Agent的名称，`--status`为查看状态的命令。

4. 查看Flume Agent的日志
   查看Flume Agent的日志需要使用tail命令，以及指定Flume Agent的日志文件路径。例如：

$ tail -f /path/to/flume.log
#这里的`/path/to/flume.log`为Flume Agent的日志文件路径。

5. 测试Flume Agent的配置是否正确
   测试Flume Agent的配置是否正确需要使用flume-ng命令，以及指定配置文件的路径和命令。例如：

$ flume-ng agent --conf-file /path/to/flume.conf --name agent-name --conf-test
#这里的`/path/to/flume.conf`为Flume Agent的配置文件路径，`agent-name`为Flume Agent的名称，`--conf-test`为测试配置的命令。

6. 查看Flume Agent的帮助信息
   查看Flume Agent的帮助信息需要使用flume-ng命令，以及指定命令。例如：

$ flume-ng help
#这里的`help`为查看帮助信息的命令。