注意:以下代码中【】字样可以省略不写,<>表示文件路径
创建文件夹:
hadoop fs -mkdir [-p] <path>
-p:可以创建多级目录
查看文件:
hadoop fs -ls [-h] [-R] <path>
-h :显示文件size
-R :查看指定目录及其子目录
上传文件:
hadoop fs -put [-f] <Linux的Path> <hdfs的Path>
-f: 覆盖已有的文件
查看文件内容:
hadoop fs -cat <src>
读取大文件可以使用管道配合more
hadoop fs -cat <src> | more
下载文件:
hadoop fs -get [-f] <hdfs src> <Linux src>
-f: 覆盖已有的文件
复制文件:
hadoop fs -cp [-f] <src> <复制的新文件的src>
-f: 覆盖已有的文件
追加文件:
hadoop fs -appendToFile <Linux src> <hdfs src>
追加的时候可能会报错,例如出现以下报错信息
此时需要找到hadoop的解压缩命令,输入cd etc/hadoop
然后使用vi编辑器,输入vi hdfs-site.xml
在<configuration></configuration>中添加以下代码
<property>
<name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
<value>NEVER</value>
</property>
<property>
<name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
<value>true</value>
</property>
添加完成后,重启hadoop集群即可
移动文件:
hadoop fs -mv <待移动src> <new src>
删除文件:
hadoop fs -rm [-r] [-skipTrash] <src>
-r 删除文件夹
-skipTrash 跳过回收站(回收站默认关闭,有需要的话先配置core-site.xml)
配置文件如下:
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>120</value>
</property>
配置完即可生效,需要重启集群
再删除文件会有以上提醒