一、这是一些基本的操作命令
1、首先在hdfs创建一个测试的目录
hadoop fs -mkdir /test
2、将本地的文件上传到 /test目录下
hadoop fs -put /usr/local/yy/hello /test
3、查看hdfs文件的内容
hadoop fs -cat /test/hello
hadoop fs -text /test/hello
4、查看hdfs目录下的文件
hadoop fs -ls /test
5、修改hdfs文件的权限
hadoop fs -chmod (-r) (代表将整个目录下的文件的权限全部改变) 0777 /test/hello
6、修改hdfs文件所属于的用户组
hadoop fs -chgrp (-r) hadoop-user /test/hello
7、修改文件所属于的用户
hadoop fs -chown hadoop /test/hello
8、将本地的文件复制到hdfs指定的目录中
hadoop fs -copyFromLocal /etc/profile /test
9、将hdfs中的文件复制到本地上来
hadoop fs -copyToLocal /test/hello /usr/local/yy
hadoop fs -get /test/hello(hdfs路径) /usr/local/yy(本地路径)
10、显示hdfs一个目录下的文件个数,文件夹的个数,内容的大小,文件的名字
hadoop fs -count /test
11、将hdfs中的文件复制到hdfs中的另外一个目录
hadoop fs -mkdir /test1
hadoop fs -cp /test/hello /test1
hadoop fs -cat /test1/hello
12、将hdfs中的一个文件进行删除
hadoop fs -rm /test1/hello
hadoop fs -ls /test1
13、将hdfs中一个目录删除
hadoop fs -cp /test/hello /test1
hadoop fs -rmr /test1(将文件夹及其内部的文件递归的删除)
14、将hdfs中的文件进行移动
hadoop fs -mv /test/hello /test1(test中的hello就会被删除)
15、将本地文件移动到hdfs中,本地文件被删除
hadoop fs -moveFromLocal /usr/local/yy/hello /test
16、将hdfs中的文件移动到本地(文件在hdfs中被删除)
hadoop fs -moveToLocal /test/hello /usr/local/yy
17\、在hdfs中创建一个文件
hadoop fs -touchz /test/helloworld
18、显示文件的大小
hadoop fs -dus /test/hello
19、显示文件夹在每一个文件的大小
hadoop fs -du /test (显示test下每一个文件的size大小)
20、设置hdfs中一个目录下所有文件的副本数
hadoop fs -setrep -w 3 -R /test (对test目录下的文件的副本数都设置为3)
21、显示hdfs文件末尾的信息
hadoop fs -tail /test/hello
22、判断hdfs中文件的类型或者目录
hadoop fs -test -e -z -d /test
二、这是一些高级的操作命令
1、archive 进行将hdfs中的小文件进行压缩到一个块中
例如:有1000个10KB的小文件,在DataNode中需要1000乘以64M空间存储,大约是63G。而如果使用archive压缩,则只需要64M的大小
hadoop archive -archiveName(指定压缩文件的名字) name -p(指定压缩文件的父目录) dest(压缩文件的存放路径)
hadoop archive -archiveName zoo.har /test /test1
如何查看*.har文件里面的内容
hadoop fs -ls har:///test1/test.har
2、使用balancer保证DataNode之间数据分布保证平衡
hadoop balancer -threshold 数值
start-balancer.sh
3、distcp在二个HDFS之间进行数据的拷贝
hadoop distcp hdfs://msater:9000/data/file /hdfs://master1:9000/data
4、dfsadmin 管理员使用的命令管理hdfs的操作
hadoop dfsadmin -safemode get/enter/leave (进入安全模式)
hadoop dfsadmin -report (显示文件系统的基本数据)
hadoop dfsadmin -refreshNodes (更新DataNode的信息)
hadoop dfsadmin -finalizeUpgrade(完成升级)