Flink on K8s与Hive on CDH Kerberos 认证

慎独#

已于 2023-09-01 17:59:40 修改

阅读量962

点赞数 1

分类专栏： flink on k8s 文章标签： flink 大数据 hive kubernetes hdfs

于 2023-04-25 16:20:21 首次发布

本文链接：https://blog.csdn.net/weixin_64431102/article/details/130367710

版权

flink on k8s 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

问题背景：

本篇文章主要探讨如何在 Kubernetes（K8s）环境下使用 Apache Flink 进行 Hive on CDH 的 Kerberos 认证。

flink在K8s环境下与Hive ON CDH 的kerberos认证

flink任务提交模式：kubernetes-application

k8s构建镜像模式：dockfile pod-template

准备工作：

1.示例代码：



import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serialization.DeserializationSchema;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.connector.source.Source;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.SqlDialect;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.catalog.Catalog;
import org.apache.flink.table.catalog.hive.HiveCatalog;
import org.apache.flink.util.Collector;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.sql.Timestamp;
import java.text.SimpleDateFormat;



public class Kafka2Hive {
    public static final Logger log = LoggerFactory.getLogger(Kafka2Hive.class);

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        checkPointConfig(env, "kafka2hive");
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        Configuration configuration = tableEnv.getConfig().getConfiguration();
        configuration.setString("hive.exec.dynamic.partition", "true");
        configuration.setString("hive.exec.dynamic.partition.mode", "nonstrict");
        configuration.setString("hive.exec.dynamic.partitions", "10000");


        SingleOutputStreamOperator<String> source = env.fromSource((Source) getKafkaSource(new String[]{Constants.KAFKA_TOPIC}, "gid_it.k8s.hive"), WatermarkStrategy.noWatermarks(), "kafka-source-it").uid("it.").name("Kafka Source: it.");
        source.print();
        SingleOutputStreamOperator<SupplierPartsInspection> javaBeanDs = source.flatMap(new FlatMapFunction<String, SupplierPartsInspection>() {
            private SupplierPartsInspection supplierPartsInspection;

            public void flatMap(String value, Collector<SupplierPartsInspection> out) throws Exception {

                try {
                    JSONObject jsonObject = JSONObject.parseObject(value);
                    JSONArray content = jsonObject.getJSONArray("content");
                    this.supplierPartsInspection = new SupplierPartsInspection();
                    
                    this.supplierPartsInspection.setReportTime(jsonObject.getTimestamp("reportTime"));
                    this.supplierPartsInspection.setReportInspectStatus(jsonObject.getString("reportInspectStatus"));

                    //数据异常监测信息
                    this.supplierPartsInspection.setCheckErrorType(jsonObject.getString("checkErrorType"));
                    this.supplierPartsInspection.setCheckErrorMsg(jsonObject.getString("checkErrorMsg"));
                    this.supplierPartsInspection.setMsgUuid(jsonObject.getString("msgUuid"));


                    //冗余字段
                    this.supplierPartsInspection.setCrtId(1);
                    this.supplierPartsInspection.setCrtDt(new Timestamp(System.currentTimeMillis()));
                        out.collect(this.supplierPartsInspection);
                    }

                } catch (Exception e) {
                    log.error("flink-datasync>>>>>>>>>parse json value: {}", value);
                    log.error("flink-datasync>>>>>>>>>parse json error: {}" + e.getMessage());
                }

            }
        }).uid("javabean-SupplierPartsInspection").name("Map JavaBean: SupplierPartsInspection");


        //FLINK创建的视图会在内存中default_catalog.default_database
        tableEnv.createTemporaryView("kafka_supplier_parts_inspection", (DataStream) javaBeanDs);


        String catalogName = "flink-datasync_hive_catalog";

        HiveCatalog catalog = new HiveCatalog(catalogName, Constants.TARGET_DB_NAME, Constants.HIVE_CONF);
        tableEnv.registerCatalog(catalogName, (Catalog) catalog);

        tableEnv.useCatalog(catalogName);

        //设置为hive方言
        tableEnv.getConfig().setSqlDialect(SqlDialect.HIVE);
        tableEnv.executeSql("CREATE TABLE IF NOT EXISTS flink_k8s_kafka_hive (    line_inspect_status string  ) PARTITIONED BY (dt string) STORED AS parquet TBLPROPERTIES ( 'sink.partition-commit.delay'='0 s',  'sink.partition-commit.trigger'='process-time',  'partition.time-extractor.timestamp-pattern'='$dt 00:00:00' , 'sink.partition-commit.policy.kind'='metastore,success-file' )");
        tableEnv.executeSql("INSERT INTO TABLE  flink_k8s_kafka_hive    select hhPartNumber,           from_unixtime(unix_timestamp(), 'yyyy-MM-dd') from default_catalog.default_database.kafka_supplier_parts_inspection");


    }

    public static KafkaSource<String> getKafkaSource(String[] topic, String groupId) {
        return KafkaSource.builder()
                .setBootstrapServers(Constants.KAFKA_SERVER)
                .setTopics(topic)
                .setGroupId(groupId)
                //从kafka最早的偏移量开始消费
                .setStartingOffsets(OffsetsInitializer.earliest())
                .setValueOnlyDeserializer((DeserializationSchema) new SimpleStringSchema())
                .build();
    }



}

这个应用程序它使用 Apache Flink 从 Kafka 主题中读取数据，然后解析并转换它，最后将其写入 Hive 表。

2.resources目录：

flink-conf文件：

配置keytab文件和krb5文件本地路径

配置票据principal用户名

配置kubernetes客户端用户（这个要和票据所有者，票据principal，以及票据文件所有者保持一致，否则会出现GSS认证失败）

3.构建dockerfile

主要是将keytab，hive-site，flink-conf，krb5,lib,conf文件复制到镜像中(切记将文件keytab相关文件权限修改为777)

4.使用 HostAliases 向 Pod /etc/hosts 文件添加条目

这一步主要是让k8s集群解析到kdc机器地址（镜像中的hosts文件是不能直接修改的）

如果访问hive，也需要将全部Namenode地址配置上

5.krb5 配置

# cat /etc/krb5.conf

# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log

[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
default_realm = EXAMPLE.COM
default_ccache_name = KEYRING:persistent:%{uid}

[realms]
EXAMPLE.COM = {
kdc = kerberos.example.com
admin_server = kerberos.example.com
}

[domain_realm]
.example.com = EXAMPLE.COM
example.com = EXAMPLE.COM

[kdc]

profile = /var/kerberos/krb5kdc/kdc.conf

#以上是默认的文件信息

配置解释：

[logging]　　这个组里面配置的是一些与日志存放路径相关的信息。

　　default: 用于配置krb5libs日志存放路径

　　kdc: 用于配置krb5kdc日志存放路径

　　admin_server: 用于配置kadmin服务日志存放路径

[libdefaults] 在使用Kerberos时使用的默认值。

dns_lookup_realm ：与dns参数有关，猜测用于域名解析，默认是false，当设置为true时，dns参数才起作用，有关dns参数获取其他参数可以查看官方文档。

ticket_lifetime：获取到的票据存活时间，也就是该票据可以用多久，默认是1天

renew_lifetime：票据可更新的时间，也就是说该票据可以延迟到期的天数。默认是7天

forwardable：票据是否可以被kdc转发，默认是true。

rdns ：在进行dns解析的时候，正反向都可以，默认是true，如果dns_canonicalize_hostname参数被设置为false，那么rdns这个参数将无效。

default_realm：默认的领域，当客户端在连接或者获取主体的时候，当没有输入领域的时候，该值为默认值(列如：使用kinit admin/admin 获取主体的凭证时，没有输入领域，而传到kdc服务器的时候，会变成 admin/admin@EXAMPLE.COM ),这个值需要在[realms]中定义，如果有多个领域，都需要在realms中定义。默认以大写书写。

default_ccache_name：默认缓存的凭据名称，不推荐使用，当在客户端配置该参数的时候，会提示缓存错误信息。

[realms] 该组主要是配置领域相关的信息，默认只有一个，可以配置多个，如果配置多个(比如：HADOOP.COM, HBASE.COM)，但是default_realm值定义为HADOOP.COM，那么客户端在获取与HBASE.COM相关的凭据时，需要指定具体的域名(比如客户端初始化凭据: kinit admin/admin@HBASE.COM).

EXAMPLE.COM: 简单说就是域名，对应用kerberos来说就是领域，相当于编程里面的namespace。

kdc ： kdc服务器地址。格式机器：端口，默认端口是88

admin_server： admin服务地址格式机器：端口，默认端口749

default_domain：指定默认的域名

[domain_realm] 指定DNS域名和Kerberos域名之间映射关系。指定服务器的FQDN，对应的domain_realm值决定了主机所属的域。

[kdc]：

　　kdc的配置信息。即指定kdc.conf的位置。
　　profile   ：kdc的配置文件路径，默认值下若无文件则需要创建。

udp_preference_limit = 1 禁止使用udp可以防止一个Hadoop中的错误
udp_preference_limit = 1 kdc原生支持tcp/udp协议，客户端访问kdc服务时，默认先使用udp协议发起请求，如果数据包过大或者请求失败，然后再换用tcp协议请求。网络条件不好，如果使用udp容易出现丢包现象。
所以如果网络环境不好， udp_preference_limit设置为1，不然会出现认证失败的情况

6.查看kdc日志

可以通过kdc日志和程序运行日志，具体分析问题所在，比如发送到kdc的票据principal是否与预先设置是否一致，kdc服务器与客户端集群网络是否联通，客户端集群是否正确解析kdc\hdfs地址等

问题描述

1.ERROR: Unable to obtain password from user

2.ERROR: Identifier doesn't match expected value (906)

3.Caused by: javax.security.auth.login.LoginException: connect timed out

4.KrbException: Message stream modified (41)

解决方案：

1.保证本地和镜像中的keytab文件所有者和k8s system user 以及票据principal一致

1.在镜像路径/opt/kerberos/kerberos-keytab下存放keytab文件

1.在镜像路径/etc/下存放keytab文件

1.在镜像路径/opt/flink/conf/存放flink-conf文件

2.使用HostAliases 向 Pod /etc/hosts添加域名解析

2.将core-site.xml和hdfs-site.xml放入resources中并将hdfs-site和hive-site中的ip改为主机名

3.k8s集群与kdc所在集群网络不通

4.删除 krb5.conf 配置文件里的 renew_lifetime = xxx 这行配置即可