hdfs基本操作

前言

在hdfs操作过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。

配置java环境

hdfs使用需要依赖java，所以首先需要配置java环境(当然需要提前安装java)，配置命令：

# java配置
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=your_dependency_path:$PATH

hdfs 基本操作

HDFS命令基本格式：hadoop fs -cmd < args >

# 1. 查看目录文件
hdfs dfs -ls hdfs://your_file_or_dir_path

# 2. 推送数据, 比如python环境
hadoop fs -put python3.8.tar.gz hdfs://your_dir_path/python3.8.tar.gz

# 2.1 或提示无权限时可通过-Dhadoop.job.ugi配置
hadoop fs -Dhadoop.job.ugi=user_name:pwd,tl -put python3.8.tar.gz hdfs://your_dir_path/python3.8.tar.gz

# 3. 修改权限
hdfs dfs -chmod 777 -R hdfs://your_file_or_dir_path

# 4. 拉取数据
hadoop dfs -Dhadoop.job.ugi=user_name:pwd,tl -get hdfs_path_file local_file_path
hdfs dfs -Dhadoop.job.ugi=user_name:pwd,tl -get hdfs://your_file_or_dir_path ./

# 5. remvoe file
hdfs dfs -Dhadoop.job.ugi=user_name:pwd,tl -rm hdfs://your_dir_path/python38.tar.gz

参考文献

https://www.jianshu.com/p/fe17603b6ab7