HDFS常用操作

简介

HDFS是Hadoop分布式文件系统，它一种基于Java的分布式文件系统，它具有容错性、可伸缩性和易扩展性等优点，它可在商用硬件上运行，也可以在低成本的硬件上进行部署。HDFS是一个分布式存储的Hadoop应用程序，它提供了更接近数据的接口。

常用命令

-ls 查看目录下的内容

hdfs dfs -ls /apps/hive/warehouse/mydata.db/
Found 3 items
drwxr-xr-x   - root hdfs          0 2021-04-28 19:03 /apps/hive/warehouse/mydata.db/order_info
drwxr-xr-x   - root hdfs          0 2021-04-28 15:03 /apps/hive/warehouse/mydata.db/user_info
drwxrwxrwx   - root hdfs          0 2021-04-28 16:07 /apps/hive/warehouse/mydata.db/user_info_orc

-mkdir 创建目录
参数：-p 建立层级目录

# 不报错 使用 -ls命令在上一级目录查看
hdfs dfs -mkdir -p /apps/hive/warehouse/mydata.db/user_info

-put 将本地文件或目录上传到HDFS的指定路径

hdfs dfs -put /root/data/local/ /apps/hdfs/

-get 将文件或目录从HDFS中的路径拷贝到本地

hdfs dfs -get /root/hdfs/ /apps/local/

-du 显示指定目录中包含文件的大小

# 单位 bytes
hdfs dfs -du /apps/hive/warehouse/mydata.db/order_info/
# 单位 MB
hdfs dfs -du -h /apps/hive/warehouse/mydata.db/order_info/

-mv 在hdfs系统中将文件或目录的源路径移动到目标路径

# 修改文件名称
hdfs dfs -mv /apps/source/a.txt /apps/source/b.txt
# 移动文件路径并修改名称
hdfs dfs -mv /apps/source/a.txt /apps/target/b.txt

-rm 删除文件或者目录

# 删除文件
hdfs dfs -rm /temp/data/a.txt
# 删除目录
hdfs dfs -rm -r /temp/data/

-cp 在hdfs系统中将文件或目录从源路径移动到目标路径

hdfs dfs -cp /temp/data/a.txt /temp/data1

-cat 查看指定文件

hdfs dfs -cat /temp/data/a.txt

-copyToLocal 拷贝文件或目录到本地 （同get)

hdfs dfs -copyToLocal /tmp/luonan ./

-copyFromLocal 从本地拷贝文件或目录到hdfs指定路径 (同put)

hdfs dfs -copyFromLocal -f ./mdx127_model/* /user/kylin_mdx/kylin/mdx_ke4_test_instance