CDH 集群 使用 JindoFS SDK 访问 OSS

CDH 集群 使用 JindoFS SDK 访问 OSS

CDH（Cloudera's Distribution, including Apache Hadoop）是众多Hadoop发行版本中的一种，本文以CDH 5.16.2为例介绍如何配置CDH支持使用JindoFS SDK访问OSS。

步骤

1. 安装 jar 包

下载最新的jar包 jindofs-sdk-x.x.x.jar (​​下载页面​​)，将sdk包安装到hadoop的classpath下。

cp ./jindofs-sdk-*.jar /opt/cloudera/parcels/CDH/lib/hadoop/lib/jindofs-sdk.jar

2. 配置 JindoFS OSS 实现类

通过集群管理工具Cloudera Manager增加JindoFS OSS 实现类配置，并根据Cloudera Manager提示重启集群和部署客户端配置。

​​

​​

若没有Cloudera Manager管理的集群，可以配置core-site.xml中。

<configuration>
    <property>
        <name>fs.AbstractFileSystem.oss.impl</name>
        <value>com.aliyun.emr.fs.oss.OSS</value