HDFS文件上传流程
操作HDFS的基本命令
1) 打印文件列表
标准写法:
hadoop fs -ls hdfs:/
简写:
hadoop fs -ls /
打印指定子目录:
hadoop fs -ls /package/test/
2) 上传文件、目录(put、copyFromLocal)
put用法:
上传新文件:
hdfs fs -put file:/root/test.txt hdfs:/
hdfs fs -put test.txt /test2.txt
hdfs fs -put test1.txt test2.txt hdfs:/
上传文件夹:
hdfs fs -put mypkg /newpkg
覆盖上传:
hdfs fs -put -f /root/test.txt /
copyFromLocal用法:
上传文件并重命名:
hadoop fs -copyFromLocal file:/test.txt hdfs:/test2.txt
3) 下载文件、目录(get、copyToLocal)
get用法:
拷贝文件到本地目录:
hadoop fs -get hdfs:/test.txt file:/root/
拷贝文件并重命名,可以简写:
hadoop fs -get /test.txt /root/test.txt
copyToLocal用法
拷贝文件到本地目录:
hadoop fs -copyToLocal hdfs:/test.txt file:/root/
拷贝文件并重命名,可以简写:
hadoop fs -copyToLocal /test.txt /root/test.txt
4) 拷贝文件、目录(cp)
从本地到HDFS,同put
hadoop fs -cp file:/test.txt hdfs:/test2.txt
从HDFS到HDFS
hadoop fs -cp hdfs:/test.txt hdfs:/test2.txt
hadoop fs -cp /test.txt /test2.txt
5) 移动文件(mv)
hadoop fs -mv hdfs:/test.txt hdfs:/dir/test.txt
hadoop fs -mv /test.txt /dir/test.txt
6) 删除文件、目录(rm)
删除指定文件
hadoop fs -rm /a.txt
删除全部txt文件
hadoop fs -rm /*.txt
递归删除全部文件和目录
hadoop fs -rm -R /dir/
7) 读取文件(cat、tail)
hadoop fs -cat /test.txt
hadoop fs -tail /test.txt
8) 创建空文件(touchz)
hadoop fs - touchz /newfile.txt
9) 创建文件夹(mkdir)
hadoop fs -mkdir /newdir /newdir2
hadoop fs -mkdir -p /newpkg/newpkg2/newpkg3
10) 获取逻辑空间文件、目录大小(du)
hadoop fs - du /
hadoop fs -du -h /
hadoop fs -du -s /
复制代码