Hadoop学习之web查看HADOOP以及文件的上传和下载

Hadoop学习之web查看HADOOP

1.web端查看HDFS的NameNode

浏览器输入:http://hadoop1002:9870

查看HDFS上储存的数据信息

2.Web端查看YARN的ResourceManager

浏览器输入:http://hadoop1003:8088
查看YARN上运行的Job信息

## 3.基本测试

1.小文件上传

[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -mkdir /input

将wcinput中的word.txt上传到Hadoop服务器的/input中

[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -put wcinput/word.txt /input
2021-11-07 23:15:36,408 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

2.上传大文件

上传JDK

[admin@hadoop1002 hadoop-3.1.3]$ cd /opt/software/
[admin@hadoop1002 software]$ hadoop fs -put jdk-8u212-linux-x64.tar.gz /input
2021-11-07 23:17:38,955 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-11-07 23:17:44,960 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

上传完成后找到切块文件

[admin@hadoop1002 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-327896306-192.168.10.102-1635769112986/current/finalized/subdir0/subdir0
[admin@hadoop1002 subdir0]$ ll
总用量 191944
-rw-rw-r--. 1 admin admin        57 11月  2 15:15 blk_1073741827
-rw-rw-r--. 1 admin admin        11 11月  2 15:15 blk_1073741827_1003.meta
-rw-rw-r--. 1 admin admin 134217728 11月  2 15:21 blk_1073741828//这个拼接
-rw-rw-r--. 1 admin admin   1048583 11月  2 15:21 blk_1073741828_1004.meta
-rw-rw-r--. 1 admin admin  60795424 11月  2 15:21 blk_1073741829//这个拼接
-rw-rw-r--. 1 admin admin    474975 11月  2 15:21 blk_1073741829_1005.meta

拼接将切块文件拼接后看是否为完整的jdk安装包文件并查看

[admin@hadoop1002 subdir0]$ cat blk_1073741828>>tmp.tar.gz 
[admin@hadoop1002 subdir0]$ cat blk_1073741829>>tmp.tar.gz

[admin@hadoop1002 subdir0]$ ll
总用量 585160
-rw-rw-r--. 1 admin admin        57 11月  7 23:15 blk_1073741825
-rw-rw-r--. 1 admin admin        11 11月  7 23:15 blk_1073741825_1001.meta
-rw-rw-r--. 1 admin admin 134217728 11月  7 23:17 blk_1073741828
-rw-rw-r--. 1 admin admin   1048583 11月  7 23:17 blk_1073741826_1002.meta
-rw-rw-r--. 1 admin admin  60795424 11月  7 23:17 blk_1073741829
-rw-rw-r--. 1 admin admin    474975 11月  7 23:17 blk_1073741827_1003.meta
-rw-rw-r--. 1 admin admin 195013152 11月  7 23:38 tmp.tar.gz

解压tmp.tar.gz到当前路径并查看发现正是jdk

[admin@hadoop1002 subdir0]$ tar -zxvf tmp.tar.gz
[admin@hadoop1002 subdir0]$ ll
总用量 585160
-rw-rw-r--. 1 admin admin        57 11月  7 23:15 blk_1073741825
-rw-rw-r--. 1 admin admin        11 11月  7 23:15 blk_1073741825_1001.meta
-rw-rw-r--. 1 admin admin 134217728 11月  7 23:17 blk_1073741826
-rw-rw-r--. 1 admin admin   1048583 11月  7 23:17 blk_1073741826_1002.meta
-rw-rw-r--. 1 admin admin  60795424 11月  7 23:17 blk_1073741827
-rw-rw-r--. 1 admin admin    474975 11月  7 23:17 blk_1073741827_1003.meta
drwxr-xr-x. 7 admin admin       245 4月   2 2019 jdk1.8.0_212
-rw-rw-r--. 1 admin admin 195013152 11月  7 23:38 tmp.tar.gz

下载

[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -get /input/jdk-8u212-linux-x64.tar.gz ./
2021-11-07 23:48:01,885 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

/input/jdk-8u212-linux-x64.tar.gz该路径为hadoop中 jdk文件上传后保存的绝对路径 ./下载下来之后存放与当前目录

以上就是web查看HADOOP以及文件的上传和下载的所有操作内容了,欢迎大家阅读。你的鼓励就是我创作的最大动力!!!

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

select_春江花月夜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值