Hadoop中的一些基本操作——HDFS操作

1.显示指定目录的内容，若集群根目录有teacher目录，显示目录内容则命令为

hadoop fs -ls /teacher

2.在指定位置创建目录，若需要在集群目录中创建子目录abc，则命令为

hadoop fs -mkdir /teacher/abc     //在teacher目录中创建子目录

hadoop fs -mkdir /abc             //在集群根目录创建子目录

hadoop fs -mkdir -p /aaa/bbb/cc   -p参数：允许一次性创建多级目录

3.将本地文件剪切到集群指定位置，若本地/temp目录下有一个文件log.dat，需要剪切到student下，命令为

hadoop fs -moveFromLocal /temp/log.dat /student/

4.将本地文件上传到集群指定位置，若本地/temp目录下有一个文件log.dat，上传到student下，命令为

hadoop fs -put /temp/log.dat /student  或

hadoop fs -copyFromLocal /temp/log.dat /student

5.上传文件，若将本地/temp/data文件夹所有内容上传到集群的/student目录下，命令为

hadoop fs -put /temp/data /student 或

hadoop fs -copyFromLocal /temp/data /student

6.复制集群中文件到集群另一目录，将/student下log.dat复制到/abc下并改名为tt.dat

hadoop fs -cp /student/log.dat /abc/tt.dat

7.删除集群中指定文件,将/abc下的tt.dat删除

hadoop fs -rm /abc/tt.dat

8.设置集群中指定文件的副本数量，若设置/student/log.dat的副本为2，命令为

hadoop fs -setrep 2 /student/log.dat

9.显示集群中指定文件的内容，若显示/student/log.dat的内容，命令为

hadoop fs -cat  /student/log.dat

10.将集群中指定文件下载到本地，若将/student下log.dat文件下载本地目录下

hadoop fs -get /student/log.dat            //当前目录

hadoop fs -get /student/log.dat  /temp     //本地指定目录  或

hadoop  fs  -copyToLocal  /student/log.dat  /temp