HDFS-shell编程篇

目录

HDFS的Shell命令

常用命令如下

小结

---

#博学谷IT学习技术支持#

大家可能会比较疑惑博学谷是什么，为什么每篇开始都带这个字，本人是在校大学生，学习的是相关专业的知识，然而课内的知识远远不够应付毕业以后的工作，就投资了一下自己...

我们进入正题

HDFS的Shell命令

HDFS的命令有哪些呢？

# 查看所有命令
 hdfs dfs -usage

 

乍一看，哇这么多，足足两页....

常用命令如下

#格式
hadoop fs -命令  参数    #该命令可以操作任何文件系统
hdfs dfs  -命令         #该命令只能操作HDFS文件系统

#文件的上传
hadoop fs -put a.txt /dir
hdfs  dfs -put  a.txt /dir

#文件的下载
hadoop fs -get /dir/a.txt /root
hdfs dfs  -get /dir/a.txt /root

#创建文件夹 -单级
hadoop fs -mkdir /dir2
hdfs dfs  -mkdir /dir2

#创建文件夹-多级
hadoop fs -mkdir -p   /aaa/bbb/ccc
hdfs dfs -mkdir -p /aaa/bbb/ccc

#删除文件
hadoop fs -rm /a.txt
hdfs dfs -rm /a.txt

#删除文件夹
hadoop fs -rm -r /a.txt
hdfs dfs  -rm -r /a.txt


#在HDFS上进行文件的复制
hadoop fs -cp /dir/1.txt /  #这里的两个路径都是HDFS路径
hdfs dfs -cp /dir/1.txt /  #这里的两个路径都是HDFS路径

#在HDFS上进行文件的移动（剪切）
hadoop fs -mv /dir/1.txt /    #这里的两个路径都是HDFS路径
hadoop fs -mv /dir/1.txt /    #这里的两个路径都是HDFS路径

#调整HDFS文件副本的数量
hdfs dfs -setrep -w 2 /1.txt

#将小文件和并上传到HDFS
 hadoop fs -appendToFile day01.txt day02.txt  day03.txt  /big.txt   
 hadoop fs -appendToFile *.txt  /big.txt   
 
 hdfs dfs -appendToFile day01.txt day02.txt  day03.txt  /big.txt   
 hdfs dfs -appendToFile *.txt  /big.txt   

这些都是常用的命令 这里的hdfs和hadoop实质上是一样的 两种写法 个人更偏向于第一种写法

---

当然还有一些基础的命令

#cat命令
#将参数所指示的文件内容输出到控制台
hdfs dfs  -cat a.txt


#快速查看HDFS文件内容
 hdfs dfs -head /export/data/a.txt

#上传新的数据文件到Linux中
rz


#df命令
#df命令用来查看磁盘使用情况
hdfs dfs -df -h /


#设置副本数
hdfs dfs -setrep -w 2 /a.txt

小结

这都是一些常用的shell命令，像文件的下载、上传、负责、粘贴、以及创建文件夹、删除文件夹、递归创建文件夹等。