Hadoop学习之web查看HADOOP以及文件的上传和下载

Hadoop学习之web查看HADOOP

1.web端查看HDFS的NameNode

浏览器输入：http://hadoop1002:9870

查看HDFS上储存的数据信息

2.Web端查看YARN的ResourceManager

浏览器输入：http://hadoop1003:8088
查看YARN上运行的Job信息

## 3.基本测试

1.小文件上传

[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -mkdir /input

将wcinput中的word.txt上传到Hadoop服务器的/input中

[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -put wcinput/word.txt /input
2021-11-07 23:15:36,408 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

2.上传大文件

上传JDK

[admin@hadoop1002 hadoop-3.1.3]$ cd /opt/software/
[admin@hadoop1002 software]$ hadoop fs -put jdk-8u212-linux-x64.tar.gz /input
2021-11-07 23:17:38,955 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-11-07 23:17:44,960 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

上传完成后找到切块文件

[admin@hadoop1002 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-327896306-192.168.10.102-1635769112986/current/finalized/subdir0/subdir0
[admin@hadoop1002 subdir0]$ ll
总用量 191944
-rw-rw-r--. 1 admin admin        57 11月  2 15:15 blk_1073741827
-rw-rw-r--. 1 admin admin        11 11月  2 15:15 blk_1073741827_1003.meta
-rw-rw-r--. 1 admin admin 134217728 11月  2 15:21 blk_1073741828//这个拼接
-rw-rw-r--. 1 admin admin   1048583 11月  2 15:21 blk_1073741828_1004.meta
-rw-rw-r--. 1 admin admin  60795424 11月  2 15:21 blk_1073741829//这个拼接
-rw-rw-r--. 1 admin admin    474975 11月  2 15:21 blk_1073741829_1005.meta

拼接将切块文件拼接后看是否为完整的jdk安装包文件并查看

[admin@hadoop1002 subdir0]$ cat blk_1073741828>>tmp.tar.gz 
[admin@hadoop1002 subdir0]$ cat blk_1073741829>>tmp.tar.gz

[admin@hadoop1002 subdir0]$ ll
总用量 585160
-rw-rw-r--. 1 admin admin        57 11月  7 23:15 blk_1073741825
-rw-rw-r--. 1 admin admin        11 11月  7 23:15 blk_1073741825_1001.meta
-rw-rw-r--. 1 admin admin 134217728 11月  7 23:17 blk_1073741828
-rw-rw-r--. 1 admin admin   1048583 11月  7 23:17 blk_1073741826_1002.meta
-rw-rw-r--. 1 admin admin  60795424 11月  7 23:17 blk_1073741829
-rw-rw-r--. 1 admin admin    474975 11月  7 23:17 blk_1073741827_1003.meta
-rw-rw-r--. 1 admin admin 195013152 11月  7 23:38 tmp.tar.gz

解压tmp.tar.gz到当前路径并查看发现正是jdk

[admin@hadoop1002 subdir0]$ tar -zxvf tmp.tar.gz
[admin@hadoop1002 subdir0]$ ll
总用量 585160
-rw-rw-r--. 1 admin admin        57 11月  7 23:15 blk_1073741825
-rw-rw-r--. 1 admin admin        11 11月  7 23:15 blk_1073741825_1001.meta
-rw-rw-r--. 1 admin admin 134217728 11月  7 23:17 blk_1073741826
-rw-rw-r--. 1 admin admin   1048583 11月  7 23:17 blk_1073741826_1002.meta
-rw-rw-r--. 1 admin admin  60795424 11月  7 23:17 blk_1073741827
-rw-rw-r--. 1 admin admin    474975 11月  7 23:17 blk_1073741827_1003.meta
drwxr-xr-x. 7 admin admin       245 4月   2 2019 jdk1.8.0_212
-rw-rw-r--. 1 admin admin 195013152 11月  7 23:38 tmp.tar.gz

下载

[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -get /input/jdk-8u212-linux-x64.tar.gz ./
2021-11-07 23:48:01,885 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

/input/jdk-8u212-linux-x64.tar.gz该路径为hadoop中 jdk文件上传后保存的绝对路径 ./下载下来之后存放与当前目录

以上就是web查看HADOOP以及文件的上传和下载的所有操作内容了，欢迎大家阅读。你的鼓励就是我创作的最大动力！！！