HDFS的shell操作(大数据技术原理与应用实验内容)

官方操作文档

#1  (1)	向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，则由用户 来指定是追加到原有文件末尾还是覆盖原有的文件
hdfs dfs -test -e remote.txt 
echo $? 
hdfs dfs -appendToFile local.txt remote.txt  #追加到原文件末尾 
hdfs dfs -copyFromLocal -f local.txt remote.txt #覆盖原来文件，第一种命令形式 
hdfs dfs -cp -f file:///home/hadoop/local.txt remote.txt #覆盖原来文件，第二种命令形式 

cat local.txt
hdfs dfs -cat remote.txt
if $(hdfs dfs -test -e remote.txt);
then $(hdfs dfs -appendToFile local.txt remote.txt);
else $(hdfs dfs -copyFromLocal -f local.txt remote.txt);
fi 

#2(2)	从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下 载的文件重命名
ls
if $(hdfs dfs -test -e remote.txt); 
then $(hdfs dfs -copyToLocal remote.txt ./remote2.txt);
else $(hdfs dfs -copyToLocal remote.txt ./remote.txt);
fi
ls

#3(3)	将HDFS 中指定文件的内容输出到终端中
hdfs dfs -cat remote.txt 

#4显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息；
hdfs dfs -ls -h remote.txt

#5  (5)	给定 HDFS 中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时 间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息；
hdfs dfs -ls -R -h /user/weiwanling

#6  (6)	提供一个 HDFS 内的文件的路径，对该文件进行创建和删除操作。如果文件所在 目录不存在，
hdfs dfs -ls
if $(hdfs dfs -test -d dir1/dir2); 
then $(hdfs dfs -touchz dir1/dir2/filename);  
else $(hdfs dfs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename); 
fi 
hdfs dfs -ls
hdfs dfs -rm dir1/dir2/filename   #删除文件 
hdfs dfs -ls

#7 提供一个 HDFS 的目录的路径，对该目录进行创建和删除操作。
#创建目录时，如 果目 录文件所在目录不存在，则自动创建相应目录；删除目录时，
#由用户指定 当该目录不为空时是否还删除该目录
 hdfs dfs -mkdir -p dir1/dir2 
 hdfs dfs -rmdir dir1/dir2 
 hdfs dfs -rm -R dir1/dir2 

#8  向 HDFS 中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾；
#追加到原文件的开头，在 HDFS 中不存在与这种操作对应的命令，
#因此，无法使用一条 命令来完成。可以先移动到本地进行操作，再进行上传覆盖
hdfs dfs -appendToFile local.txt remote.txt 
hdfs dfs -cat remote.txt
hdfs dfs -get -f remote.txt 
cat remote.txt local.txt > remote1.txt 
hdfs dfs -copyFromLocal -f remote1.txt remote.txt
hdfs dfs -cat remote.txt

#9  删除 HDFS 中指定的文件
hdfs dfs -rm remote.txt

#10(10)	在 HDFS 中，将文件从源路径移动到目的路径。
hdfs dfs -mv remote.txt remote2.txt