HDFS的基本操作指令

hdfs分布式文件系统 , 将一个大的文件拆分成多个小文件存储在多台服务器中,
文件系统: 目录结构(树状结构)  "/" 树根,   目录结构在namenode中维护

1、创建目录   mkdir

mkdir : 创建目录
/data ; 路径 , 需要从 ”/“ 开始
hadoop dfs -mkdir /data

-p  : 递归创建多级目录
hadoop dfs -mkdir -p  /a/b/c


2、查看文件,ls  没有cd命令, 需要指绝对路径

hadoop dfs -ls /data

权限(rwx(当前用户的权限) ,r-x (当前用户组的权限) ,r-x 其他用户的权限))
drwxr-xr-x   - root supergroup          0 2021-01-05 00:11 /a
drwxr-xr-x   - root supergroup          0 2021-01-05 00:09 /data


3、上传文件 put 

创建路径
hadoop dfs -mkdir /data/student

上传学生表的数据到hdfs,  students.txt: linux本地的一个文件,/data/student: hdfs 目录
hadoop dfs -put students.txt /data/student


hadoop dfs -mkdir /data/score
hadoop dfs -put score.txt /data/score

hadoop dfs -mkdir /data/cource
hadoop dfs -put cource.txt /data/cource

4、下载文件  get

将hdfs文件下载到linux本地

hadoop dfs -get /data/student/students.txt


5、复制   cp

 /data/a.txt  :源文件或者目录
 / : 目标目录

hadoop dfs -cp /data/a.txt  /


6、查看文件内容 cat ,  如果数据量比较大,不能使用
hadoop dfs -cat /data/student/students.txt

7、移动  mv,    物理层面文件没有移动,只是改变了元数据(目录结构)
 hadoop dfs -mv /a.txt /a


8、删除文件或者目录   rmr  

hadoop dfs -rmr /a/a.txt

并没有真正删除文件,只是将文件放到了回收站中,

/user/root/.Trash/Current  ; 每一个用户都有一个回收站

文件永久删除:
1、回收站自动清理

<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

2、手动删除回收站
Hadoop dfs -rmr /user/root/.Trash/Current 


3、强制删除,-skipTrash  当需要删除的文件比较大的时候
hadoop dfs -rmr -skipTrash /a


9、查看文件末尾 tail    -f ; 一直等待查看
 hadoop dfs -tail /data/student/students.txt


10、查看文件的大小
hadoop dfs -du -h  /data


hdfs的元数据保存在namenode中
在namenode所在的节点的/usr/local/soft/hadoop-2.7.6/tmp

hdfs的数据保存在datanode中,在data浓的所在的节点的磁盘上(/usr/local/soft/hadoop-2.7.6/tmp/dfs/data/current/BP-1968529002-192.168.129.101-1609771935660/current/finalized/subdir0/s
ubdir0)
hadoop dfsadmin -safemode get   命令是用来查看当前hadoop安全模式的开关状态
hadoop dfsadmin -safemode enter  命令是打开安全模式
hadoop dfsadmin -safemode leave 命令是离开安全模式

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值