目录
#博学谷IT学习技术支持#
大家可能会比较疑惑博学谷是什么,为什么每篇开始都带这个字,本人是在校大学生,学习的是相关专业的知识,然而课内的知识远远不够应付毕业以后的工作,就投资了一下自己...
我们进入正题
HDFS的Shell命令
HDFS的命令有哪些呢?
# 查看所有命令
hdfs dfs -usage
乍一看,哇这么多,足足两页....
常用命令如下
#格式
hadoop fs -命令 参数 #该命令可以操作任何文件系统
hdfs dfs -命令 #该命令只能操作HDFS文件系统
#文件的上传
hadoop fs -put a.txt /dir
hdfs dfs -put a.txt /dir
#文件的下载
hadoop fs -get /dir/a.txt /root
hdfs dfs -get /dir/a.txt /root
#创建文件夹 -单级
hadoop fs -mkdir /dir2
hdfs dfs -mkdir /dir2
#创建文件夹-多级
hadoop fs -mkdir -p /aaa/bbb/ccc
hdfs dfs -mkdir -p /aaa/bbb/ccc
#删除文件
hadoop fs -rm /a.txt
hdfs dfs -rm /a.txt
#删除文件夹
hadoop fs -rm -r /a.txt
hdfs dfs -rm -r /a.txt
#在HDFS上进行文件的复制
hadoop fs -cp /dir/1.txt / #这里的两个路径都是HDFS路径
hdfs dfs -cp /dir/1.txt / #这里的两个路径都是HDFS路径
#在HDFS上进行文件的移动(剪切)
hadoop fs -mv /dir/1.txt / #这里的两个路径都是HDFS路径
hadoop fs -mv /dir/1.txt / #这里的两个路径都是HDFS路径
#调整HDFS文件副本的数量
hdfs dfs -setrep -w 2 /1.txt
#将小文件和并上传到HDFS
hadoop fs -appendToFile day01.txt day02.txt day03.txt /big.txt
hadoop fs -appendToFile *.txt /big.txt
hdfs dfs -appendToFile day01.txt day02.txt day03.txt /big.txt
hdfs dfs -appendToFile *.txt /big.txt
这些都是常用的命令 这里的hdfs和hadoop实质上是一样的 两种写法 个人更偏向于第一种写法
当然还有一些基础的命令
#cat命令
#将参数所指示的文件内容输出到控制台
hdfs dfs -cat a.txt
#快速查看HDFS文件内容
hdfs dfs -head /export/data/a.txt
#上传新的数据文件到Linux中
rz
#df命令
#df命令用来查看磁盘使用情况
hdfs dfs -df -h /
#设置副本数
hdfs dfs -setrep -w 2 /a.txt
小结
这都是一些常用的shell命令,像文件的下载、上传、负责、粘贴、以及创建文件夹、删除文件夹、递归创建文件夹等。