21.OracleOGG同步数据到基于Kerberos认证的Kafka略有不同

1.生产者属性配置文件
vi custom_kafka_producer.properties
bootstrap.servers=192.168.1.51:9092,192.168.1.52:9092,192.168.1.53:9092
acks=1
#compression.type=snappy
reconnect.backoff.ms=1000
value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
batch.size=102400
linger.ms=10000
security.protocol=SASL_PLAINTEXT    --之前的不同点
sasl.kerberos.service.name=kafka    --之前的不同点
sasl.mechanism=GSSAPI               --之前的不同点

2.设置KRB5配置文件。
vi jaas.conf 
KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
keyTab="/var/run/cloudera-scm-agent/process/3401-kafka-KAFKA_BROKER/kafka.keytab"
principal="kafka/mycdp3.cdp.com@CDP.COM";
};

3.设置环境变量:vi /etc/profile
export KAFKA_OPTS="-Djava.security.auth.login.config="/root/kafka_demo/jaas.conf"

 
4..配置OGG-KAFKA数据推送 
[root@huajcdp3 dirprm]# cat hs_asset_fundaccount_kafka.props
gg.log=log4j
gg.log.level=info
gg.report.time=30sec
###Kafka Classpath settings ###
gg.classpath=/opt/cloudera/parcels/CDH/lib/kafka/libs/*:dirprm/:/data/ogg/ggjava/resources/lib/*
jvm.bootoptions=-Xmx1024m -Xms1024m -Djava.class.path=./ggjava/ggjava.jar -Dlog4j.configuration=log4j.properties -Djava.security.auth.login.config=/data/ogg/dirprm/kafka_demo/jaas.conf -Djava.security.krb5.conf=/etc/krb5.conf
javawriter.stats.full=TRUE
javawriter.stats.display=TRUE
### native library config ###
goldengate.userexit.nochkpt=TRUE
goldengate.userexit.timestamp=utc
### Kafka handler properties ###
gg.handlerlist = kafkahandler
gg.handler.kafkahandler.type=kafka
gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
gg.handler.kafkahandler.format=delimitedtext
gg.handler.kafkahandler.format.PkUpdateHandling=update
gg.handler.kafkahandler.mode=tx
gg.handler.kafkahandler.format.includeCurrentTimestamp=false
gg.handler.kafkahandler.topicMappingTemplate=HS_ASSET.FUNDACCOUNT_1
gg.handler.kafkahandler.SchemaTopicName=HS_ASSET.FUNDACCOUNT_1
gg.handler.kafkahandler.BlockingSend =false
gg.handler.kafkahandler.includeTokens=false
gg.handler.kafkahandler.mode=op
gg.handler.kafkahandler.format.insertOpKey = I
gg.handler.kafkahandler.format.updateOpKey = U
gg.handler.kafkahandler.format.deleteOpKey = D

注意:标注共色的部分是Oracle OGG同步到基于Kerberos认证的kafka和非Kerberos认证的Kafka的不同之处,其他都是一样的。


 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka Kerberos认证Kafka消息队列系统中一种安全认证机制,用于确保Kafka集群中的通信和数据传输的安全性。 Kafka是一个分布式的高吞吐量消息队列系统,可以用于实现实时数据流处理和消息传递。为了保护Kafka集群免受未授权的访问和攻击,Kafka提供了多种安全认证机制,其中之一就是Kerberos认证Kerberos是一种强大的网络认证协议,用于客户端和服务端之间的身份验证和数据传输的加密。Kerberos特别适合于分布式系统,因为它可以使用户在多个系统中共享认证凭证。 Kafka Kerberos认证的工作原理如下: 1. 客户端将请求发送到Kafka集群中的任意一个Broker。 2. Broker发送Kerberos令牌请求给Kerberos认证中心(KDC)。 3. KDC对Broker和客户端进行身份验证,并颁发令牌。 4. Broker将令牌发送回客户端。 5. 客户端使用令牌进行身份验证,并将请求再次发送到Broker,以获取或发送消息。 通过使用Kerberos认证Kafka可以确保只有经过身份验证的客户端能够连接和与Kafka集群进行通信。这种认证机制可以有效防止未授权的访问和数据泄露风险。同时,Kerberos认证还增加了数据传输的安全性,通过对传输的数据进行加密,防止数据被窃听或篡改。 总而言之,Kafka Kerberos认证是一种在Kafka消息队列系统中确保安全通信和数据传输的有效机制,它通过Kerberos认证和加密技术,实现了身份验证和数据传输的安全性。这可以帮助用户建立安全可靠的消息传递系统,并保护集群免受未授权访问和数据泄露的风险。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值