如何使用开源的HDFS 客户端

背景

由于CDH 6 只能支持到Hadoop 3.0.0，而开源Hadoop 则一直在更新，这就导致HDFS 客户端的功能会存在一些缺失。比如：concat 命令字在开源Hadoop 已经支持，而CDH6 的HDFS 客户端不支持该命令字。因此当我们需要一些新功能时，可以将客户端升级至最新的版本。

下载获取最新的HDFS 客户端

可通过以下地址找到最新的Hadoop 版本下载：

公网地址：开源Hadoop 下载地址

安装

1、解压tar 包

export HADOOP_VERSION="hadoop-3.3.2"

tar xzvf $HADOOP_VERSION.tar.gz -C /opt

2、配置HADOOP_HOME 环境变量

echo "HADOOP_HOME=/opt/$HADOOP_VERSION" >> /etc/environment

3、（可选）安装 openJDK，并获取 JAVA_HOME 环境变量

yum install -y java

# 获取 OpenJDK 的 JAVA_HOME 路径，如下图所示 /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64 即为 JAVA_HOME 路径

java -XshowSettings:properties -version 2>&1 > /dev/null | grep 'java.home'

4、在hadoop-env.sh 中配置JAVA_HOME 环境变量

export JAVA_HOME=/path/to/java

echo "export JAVA_HOME=$JAVA_HOME" >> /opt/$HADOOP_VERSION/etc/hadoop/hadoop-env.sh

5、将hadoop 命令添加到bin 目录下

alternatives --install /usr/bin/hadoop hadoop /opt/$HADOOP_VERSION/bin/hadoop 1

6、测试

# which hadoop

useradd testuser

sudo -u testuser hadoop

userdel testuser

使用

按照正常的 hadoop 命令使用即可