HDFS文件查改增删及上传下载

1. 文件查改增删

1.1 查看文件

# 查看某目录下的文件
hadoop fs -ls <path>

# 显示文件大小
hadoop fs -du -h <path>
# 显示文件大小，s代表显示只显示总计(列出最后的和)。
hadoop fs -du -s -h <path>

# 输出文件内容
hadoop fs -cat <path>

1.2 创建文件

# 创建目录
hadoop fs -mkdir <path>
hadoop fs -mkdir -p ${1}

# 在指定目录创建一个新文件，如果文件存在，则创建失败
hadoop fs -touchz /user/zz/_SUCCESS
 

1.3 删除文件

hadoop fs -rm <src>

# 递归删除文件目录及文件
hadoop fs -rmr <src>
hadoop fs -rm -R -f -skipTrash ${1}

1.4 批量删除文件

介绍 一种批量删除hdfs文件(并跳过垃圾箱)的方法

# 1.查看hdfs 文件
hadoop fs -ls hdfs_path  

# 2.将hdfs上待删除的文件路径写入一个文本文件（table_hdfs_clean_list.txt）

# 3.编写删除脚本 clean.sh  (防止垃圾箱被塞满)
for i in `cat table_hdfs_clean_list.txt`
# for i in $(cat table_hdfs_clean_list.txt)
do
    hadoop fs -rm -r -skipTrash $i
done

# 4.执行 bash clean.sh

2. 文件移动

2.1 拷贝文件

# 拷贝文件，src为多个文件时，dst必须是个目录
hadoop fs -cp <src> <dst>

# 移动文件，当src为多个文件，dst必须为目录
hadoop fs -mv <src> <dst>

2.2 本地文件上传

# 前面为本地文件路径，后面为HDFS中文件路径
hadoop fs -put /data/zz/aa.txt /user/zz/
# hdfs dfs -put /data/zz/aa.txt  /user/zz/  
# hadoop fs -copyFromLocal <localsrc>...<dst>
# 若hdfs上已经存在文件，要强制覆盖，用 -f 命令
hadoop fs -put -f aa.txt /user/zz/

# 上传文件夹
hadoop fs -put /data/zz/test /user/zz/

# 从本地系统拷贝文件到dfs中，拷贝完删除源文件
hadoop fs -moveFromLocal <localsrc>...<dst>

2.3 下载文件到本地

hadoop fs -get /user/zz/test /data/zz/
hdfs dfs -get hdfs://hacluster/user/hive/warehouse/test.db/table_01 .

# 从dfs中拷贝多个文件合并排序为一个文件到本地文件系统
hadoop fs -getmerge  <src> <localdst>

2.4 集群之间的拷贝

        把master集群的/foo/bar目录下的所有文件或目录名展开并存储到一个临时文件中，这些文件内容的拷贝工作被分配给多个map任务， 然后每个TaskTracker分别执行从master1到master2的拷贝操作。注意使用绝对路径进行操作。

hadoop distcp 
# -D mapred.job.map.capacity=5000 \
# -D mapred.job.priority=VERY_HIGH \
# -su dt-udw-insight,udwinsight \
# -du lbs-navi,awesomenavi \
hdfs://master1:8020/foo/bar hdfs://master2:8020/bar/foo