当我们已经将hadoop部署完以后,那么现在我们要怎么进行操作呢?当然,首先是完成hdfs上的文件存储,hdfs是一个文件存储系统和linux是一样的,都是通过shell命令来完成文件的上传和下载以及对文件的管理。本篇将介绍hdfs上对文件以及文件夹的管理。
首先,我们需要知道操作hdfs的命令是在哪里?如果你们没有将hadoop配置到环境变量当中,那么我们就切换到hadoop/bin目录下,我们有两种操作方式(都是一样的):hadoop fs 和 hdfs dfs。下面我们主要以hdfs dfs为主:
1,列出hdfs文件系统中的文件以及文件夹
hdfs dfs -ls / 这里是从根目录开始列出根目录下的文件和文件夹,如果想递归地显示出所有文件和文件夹,可以添加参数r
hdfs dfs -lsr /
2,上传文件
hdfs dfs -put local_file hdfs_path,这里我们将本地的一个文件上传到hdfs上,需要指明的是本地文件的地址和上传到hdfs上的位置
hdfs dfs copyFromLocal file_path hdfs_path
3,查看文件内容
hdfs dfs -cat hdfs_file
4,创建文件夹以及级联创建
hdfs dfs -mkdir hdfs_path ,如果是级联创建添加参数-p hdfs dfs -mkdir -p hdfs_path
5,删除目录或者文件
hdfs dfs -rm hdfs_file 这个是删除问价的,如果想删除文件夹就添加-r这个参数 hdfs dfs -rm -r hdfs_path,你也可以简写成hdfs dfs -rmr hdfs_path
6,复制系统内的文件
hdfs dfs -cp hdfs_file1 hdfs_file2,如果是文件夹还是添加-r这个参数
7,复制文件到本地文件系统
hdfs dfs -get hdfs_file loacl_path
hdfs dfs copyToLocal hdfs_file local_path
8,将文件从一个地方剪切到另一个地方
hdfs dfs -mv hdfs_file hdfs_path
9,显示文件以及文件夹大小
hdfs dfs -du hdfs_file,如果是显示当前文件夹的大小可以添加参数-s hdfs dfs -du -s hdfs_path
10,在本地和hdfs上进行文件的移动(剪切)
hdfs dfs -moveToLocal hdfs_file local_path
hdfs dfs -moveFromLocal lcoal_file hdfs_path
当然还有其他的一些命令,但是通过上面的命令我们可以了解到hdfs的shell命令是和linux上的shell命令大致是一样的。