hadoop学习之shell命令操作操作hdfs

1、-tail
显示文件的末尾,不支持行数
hadoop fs -tail /bigdata/fangfang.txt
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
hadoop fs -tail -n 5 /bigdata/fangfang.txt(不支持)
在这里插入图片描述
但是支持-tail后面写追加。加上-f跟随查看。查看之后不退出
hadoop fs -tail -f /bigdata/fangfang.txt
在这里插入图片描述
在开一个连接:
在这里插入图片描述
hadoop fs -appendToFile songsong.txt /bigdata/fangfang.txt
在这里插入图片描述
在这里插入图片描述
-rm删除文件功能
在这里插入图片描述
删除目录需要添加-r
在这里插入图片描述
在这里插入图片描述
-rmdir删除一个空目录(只能删除一个空目录)
先建立一个空目录abc
在这里插入图片描述
在这里插入图片描述
统计文件夹的大小信息:-du
-h 以更容易阅读的方式(换算单位MB)
-s 代表做一个统计
使用-du 查看/bigdata文件
在这里插入图片描述
在这里插入图片描述
设置文件的副本数量:-setrep
可以修改,默认是3
改变副本数量,把3改成5:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
但是,注意:hdfs真正为/bigdata/fangfang.txt维护的还是三个副本,因为我们只有三个节点,不可能再一个节点维护多个副本。这是写这个没有意义。
以后,动态扩展节点为5个时,发现你设置的副本数是5,那Hadoop会尽可能满足你设置的副本数量。现在设置没有意义。
2、往少了改:之前是三个现在设置成2个
在这里插入图片描述
之前的三个分别在102 103 104机器上
在这里插入图片描述
现在变成了两个,也就是会随机删除一个,注意是:随机删除

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
hdfs都是以块为单位去存储数据的
在这里插入图片描述
尝试解决web端操作权限问题:
在这里插入图片描述
在/opt/module/hadoop-3.1.3/etc/hadoop目录下的core-site.xml文件修改
在这里插入图片描述

在这里插入图片描述
之后再进行分发这个配置文件
重新启动集群。
如果一个文件被切成了两块,那每一块都需要上传三分。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值