HDFS 命令

最新推荐文章于 2022-11-16 14:51:38 发布

嘟嘟嘟嘟嘟嘟222

最新推荐文章于 2022-11-16 14:51:38 发布

阅读量219

点赞数

分类专栏：分布式

本文链接：https://blog.csdn.net/pys52055/article/details/112132043

版权

本文介绍了HDFS的常用操作命令，包括查看目录信息、创建目录、文件的移动与复制、查看文件内容、修改副本数量等。同时提到了在安全模式下进行操作的注意事项以及如何合并下载多个文件。

摘要由CSDN通过智能技术生成

显示目录信息
hadoop fs -ls /
创建目录
hadoop fs -mkdir -p /pys/mkdirtest
剪切文件本地目录 HDFS目录
hadoop fs -moveFromLocal ./test.txt /pys/
拷贝文件本地目录 HDFS目录
hadoop fs -copyFromLocal ./test.txt /pys/
hadoop fs -put ./test.txt /pys/
拷贝文件到本地 HDFS目录本地目录
hadoop fs -copyToLocal /pys/test.txt ./
hadoop fs -get /pys/test.txt ./
追加文件到已存在的文件末尾当前文件目标文件
不支持修改文件
hadoop fs -appendToFile ./test01.txt /pys/test.txt
查看HDFS文件内容
hadoop fs -cat /pys/test.txt

无法使用appenToFile

hadoop fs -appendToFile 3 /2

20/07/15 09:29:18 INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Got error, status message , ack with firstBadLink as 172.21.0.7:50010
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:140)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1363)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1188)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:455)
20/07/15 09:29:18 WARN hdfs.DFSClient: Error Recovery for block BP-31621113-127.0