HDFS常用操作命令

注意：以下代码中【】字样可以省略不写，<>表示文件路径

创建文件夹：

hadoop fs -mkdir [-p] <path>

-p:可以创建多级目录

查看文件：

hadoop fs -ls [-h] [-R] <path>

-h :显示文件size

-R :查看指定目录及其子目录

上传文件：

hadoop fs -put [-f] <Linux的Path> <hdfs的Path>

-f: 覆盖已有的文件

查看文件内容:

hadoop fs -cat <src>

读取大文件可以使用管道配合more

hadoop fs -cat <src>  | more

下载文件：

hadoop fs -get [-f] <hdfs src> <Linux src>

-f: 覆盖已有的文件

复制文件：

hadoop fs -cp [-f] <src> <复制的新文件的src>

-f: 覆盖已有的文件

追加文件：

hadoop fs -appendToFile <Linux src> <hdfs src>

追加的时候可能会报错，例如出现以下报错信息

 此时需要找到hadoop的解压缩命令，输入cd etc/hadoop

然后使用vi编辑器，输入vi hdfs-site.xml

在<configuration></configuration>中添加以下代码

 <property>
        <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
        <value>NEVER</value>
    </property>

    <property>
        <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
        <value>true</value>
    </property>

添加完成后，重启hadoop集群即可

移动文件：

hadoop fs -mv <待移动src> <new src>

删除文件：

hadoop fs -rm [-r] [-skipTrash] <src>

-r 删除文件夹

-skipTrash 跳过回收站（回收站默认关闭，有需要的话先配置core-site.xml）

配置文件如下：

<property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>120</value>
    </property>
配置完即可生效，需要重启集群

再删除文件会有以上提醒