Java代码通过Kerberos连接HDFS

准备配置文件工作:
1. hdfs-site.xml , core-site.xml   从【集群中下载】
2. hadoop.keytab 【创建kerberos访问的用户生成】
3. krb5.conf  【配置Kerberos生成】


pom需要的依赖:
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
    </dependencies>




具体的代码实现

package com.cib.feilong.kerber;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.UserGroupInformation;

/**
 * JAVA 代码通过Kerberos连接HDFS
 *
 * @author songzhan
 * @version 1.0
 * @date 2022/1/14
 */

public class Test {

    public static void main(String[] args) throws Exception {

        String user = "hadoop";

        String keytab = "/home/hadoop/hadoop.keytab";

        String path = "/tmp/";

        Configuration conf = new Configuration();

        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

        System.setProperty("java.security.krb5.conf", "/etc/krb5.conf");

        UserGroupInformation.setConfiguration(conf);

        UserGroupInformation.loginUserFromKeytab(user, keytab);

        FileSystem fileSystem = FileSystem.get(conf);

        boolean exists = fileSystem.exists(new Path(path));

        // TODO  判断tmp目录是否存在,如果存在返回True,如果不存在返回False
        System.out.println("exists:{}" + exists);

    }

}









  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要通过Kerberos认证方式上传文件到HDFS,需要完成以下步骤: 1. 配置Kerberos客户端 在Java中使用Kerberos认证需要配置Kerberos客户端。可以通过设置以下系统属性完成配置: ``` System.setProperty("java.security.krb5.realm", "EXAMPLE.COM"); System.setProperty("java.security.krb5.kdc", "kdc.example.com"); ``` 其中,`EXAMPLE.COM`为Kerberos域名,`kdc.example.com`为Kerberos服务器地址。 同时,还需要将Kerberos的keytab文件添加到JVM的classpath中,以便在运行时自动加载。 2. 获取Kerberos票据 在进行HDFS操作之前,需要获取Kerberos票据。可以使用`LoginContext`类获取Kerberos票据: ``` LoginContext lc = new LoginContext("KerberosLogin", new Subject(), null, new KerberosConfiguration()); lc.login(); Subject subject = lc.getSubject(); ``` 其中,`KerberosLogin`为登录模块名称,`KerberosConfiguration`为Kerberos配置类。 3. 创建HDFS文件系统对象 通过Hadoop的`FileSystem`类创建HDFS文件系统对象,并设置认证方式为Kerberos: ``` Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode.example.com:8020"); conf.setBoolean("dfs.support.append", true); conf.set("hadoop.security.authentication", "kerberos"); conf.set("hadoop.security.authorization", "true"); UserGroupInformation.setConfiguration(conf); UserGroupInformation ugi = UserGroupInformation.getSubject(subject); FileSystem fs = ugi.doAs(new PrivilegedExceptionAction<FileSystem>() { public FileSystem run() throws Exception { return FileSystem.get(conf); } }); ``` 其中,`namenode.example.com`为HDFS的NameNode地址。 4. 上传文件到HDFS 使用HDFS文件系统对象上传文件到HDFS即可: ``` Path srcPath = new Path("/path/to/local/file"); Path dstPath = new Path("/path/to/remote/file"); fs.copyFromLocalFile(srcPath, dstPath); ``` 其中,`/path/to/local/file`为本地文件路径,`/path/to/remote/file`为HDFS文件路径。 以上就是通过Kerberos认证方式上传文件到HDFS的步骤。需要注意的是,Kerberos认证方式需要对安全性有一定的了解才能正确配置和使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值