第二章 HDFS的shell操作

第二章 HDFS的shell操作

2.1 基本语法

hadoop fs 具体命令

hdfs  dfs 具体名

2.2常用命令

1. 上传

   • -moveFromLocal:从本地剪切粘贴到HDFS
   • -copyFromLocal 从本地文件系统中拷贝文件到HDFS路径去.
   • -put 等同于 copyFromLocal
   • -appendToFile 追加一个文件到已经存在的文件末尾

2. 下载

   • -copyToLocal 从HDFS拷贝到本地
   • -get 等同-copyToLocal

3. 直接操作

   • -ls 查看目录

   • -cat 查看文件

   • -chgrp . -chmod , -chown. 和linux用法一样

   • -mkdir 创建目录

   • -cp 拷贝

   • -mv 移动,重命名

   • -tail 显示文件末尾的1kb的数据

   • -rm 删除文件或者文件夹

   • -rm -r 地柜删除文件或者文件夹

   • -du 统计夹的大小信息

   • -setrep: 设置HDFS中的文件副本数量

     设置test.txt 的副本数为10
     hadoop  fs -setrep 10 /test.txt
     

     这里设置的副本数只是记录在NameNode的元数据中,是否真的会有那么多的副本,还得看DataNode的数量,因为当前集群只有3台设备,所以最多也就3个副本,当集群的节点增加到10台的时候,副本数才能达到10