hdfs命令行

之前我们已经完成了分布式安装

在03中启动HDFS，

start-dfs.sh

在05中启动yarn

start-yarn.sh

查找错误的方法，查看对应节点的/opt/softs/hadoop3.1.3/logs 日志

比如说03的NameNode发生错误

就到03节点的logs目录下查找

执行

tail -500f hadoop-root-namenode-bigdata03.log

在ResourceManager节点05上启动yarn

start-yarn.sh

开启任务历史服务 

在配置yarn的节点下

mapred --daemon start historyserver

 因为在/opt/softs/hadoop3.1.3/etc/hadoop 下的yarn-site.xml里面的日志聚集功能只有在yarn启动才能查看

普通需要在一出错就能查看日志，所以需要开启任务历史服务

任务历史服务启动成功

访问NameNode的Web服务

查看 hadoop目录下的 hdfs-site.xml

找到web端的访问地址

http://bigdata03:9870

此时还不能访问，因为之前在Linux中的hosts设置了IP地址与主机名的映射，此时的windows中还没有设置，

到计算机中的C:\Windows\System32\drivers\etc 目录下的hosts，添加

192.168.111.73 bigdata03
192.168.111.74 bigdata04
192.168.111.75 bigdata05

此时就能访问了

 查看一下
/opt/softs/hadoop3.1.3/data/dfs/name/current 目录下的

 

里面的集群id与块id都一样，这些是明确hadoop集群的唯一标识

访问yarn的Web服务，

是ResourceManager的虚拟机

默认的地址是http://bigdata05:8088

访问任务历史服务的Web服务

在/opt/softs/hadoop3.1.3/etc/hadoop 下的 yarn-site.xml中查看

hdfs命令行

hadoop fs - 具体的命令 要操作的目录或者文件

1.对目录的操作

1.1对目录的查询

使用ls命令可以查询hdfs上的目录

-- 查询 hdfs 上的根目录

hadoop fs -ls /