摸鱼大数据——Linux搭建大数据环境(Hadoop集群的启动和Hadoop shell命令)三

hadoop集群启动

要启动Hadoop集群，其实就是启动HDFS和YARN两个集群

① 数据初始化

首次启动HDFS必须对其进行格式化操作 : 本质是清理和准备工作,因为此时的HDFS在物理上还是不存在的

注意： 初始化操作必须在node1中执行

[root@node1 ~]# hdfs namenode -format

②单节点逐个启动[了解]

启动HDFS集群

• 在主节点上使用以下命令启动HDFS NameNode

  [root@node1 ~]# hdfs --daemon start namenode

• 在每个从节点上使用以下命令启动HDFS DataNode

  [root@node2 ~]# hdfs --daemon start datanode

  [root@node3 ~]# hdfs --daemon start datanode

• node2上使用以下命令启动HDFS SecondaryNameNode

  [root@node2 ~]# hdfs --daemon start secondarynamenode

启动YARN集群

• 在主节点上使用以下命令启动YARN ResourceManager

  [root@node1 ~]# yarn --daemon start resourcemanager

• 在每个从节点上使用以下命令启动YARN nodemanager

  [root@node2 ~]# yarn --daemon start nodemanager

  [root@node3 ~]# yarn --daemon start nodemanager

注意: 如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可

③单个集群启动和关闭

[root@node1 ~]# stop-dfs.sh
[root@node1 ~]# stop-yarn.sh
​
[root@node1 ~]# start-dfs.sh
[root@node1 ~]# start-yarn.sh

④jps查看进程

jps是jdk提供的一个查看当前java进程的小工具， 全称是JavaVirtual Machine Process Status Tool

[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps

⑤一键启动和关闭

如果配置了etc/hadoop/workers和ssh免密登录,则可使用脚本一键操作Hadoop两个集群的相关进程，在主节点所设定的机器上执行

[root@node1 ~]# stop-all.sh
​
[root@node1 ~]# start-all.sh

⑥启动jobHistory服务

JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中

[root@node1 ~]# mapred --daemon start historyserver

hadoop shell基础命令

[root@node1 ~]# hdfs dfs -ls /
[root@node1 ~]# hdfs dfs -mkdir /binzi
[root@node1 ~]# hdfs dfs -touch /binzi/1.txt /binzi/2.txt
[root@node1 ~]# hdfs dfs -ls /binzi
​
[root@node1 ~]# hdfs dfs -mv /binzi /binzi2
[root@node1 ~]# hdfs dfs -cp /binzi2 /binzi3
​
[root@node1 ~]# echo hello binzi > a.txt
[root@node1 ~]# hdfs dfs -put /root/a.txt /binzi
[root@node1 ~]# hdfs dfs -cat /binzi/a.txt
[root@node1 ~]# hdfs dfs -get /binzi/a.txt /
​
[root@node1 ~]# hdfs dfs -rm /binzi/2.txt
[root@node1 ~]# hdfs dfs -rm -r /binzi
[root@node1 ~]# hdfs dfs -ls /
​
[root@node1 ~]# hdfs dfs 回车