Kafka
文章平均质量分 60
聆听金生
人生得意须尽欢,莫使空杯对笑谈!
展开
-
OGG安裝部署(oracle=>kafka)
OGG原创 2022-07-25 16:02:37 · 2077 阅读 · 0 评论 -
gradle 查看项目的依赖树
新建task任务修改build.gradlesubprojects { task allDeps(type: DependencyReportTask) {}}./gradlew allDeps原创 2021-12-14 10:43:09 · 2934 阅读 · 1 评论 -
Debezium Oracle CDC使用手册
文章目录一、文档参考二、Oracle 数据开启日志归档三、创建XStream Admin用户和连接器用户四、XStream出站服务器五、kafka connector六、oracle 表创建一、文档参考1.1 Centors7+静默安装Oracle12C1.2 Debezium官方文档1.3 Oracle Instant Client注意在安装oracle时使用英文模式。二、Oracle 数据开启日志归档设置数据库归档模式SQL> shutdown immediate;数原创 2021-04-09 18:23:29 · 3180 阅读 · 3 评论 -
kafka Schema开启kerberos认证
文章目录1、Schema1.1 Schema开启kerberos1.2 启动Schema服务1、Schema1.1 Schema开启kerberos拷贝schema.service.keytab到schema安装目录下的etc中修改schema.service.keytab文件的权限创建schema_server_jaas.conf并添加如下内容Client { com.sun.security.auth.module.Krb5LoginModule required use原创 2021-03-25 11:51:19 · 391 阅读 · 2 评论 -
kafka manager 管理开启kerberos的kafka集群安装教程
1、前言通过之前的博客我们已经把 Zookeeper、kafka、Kerberos 都已经安装验证完毕。接下来我们将继续围绕Kafka生态周围对Kafka Manager 开启kerberos的安装以及验证。2、添加Kafka Manager 认证主体通过命令行添加kafkaManager的认证主体,并导出Key.tab文件[root@henghe-01 /]# kadmin.localAuthenticating as principal root/admin@HADOOP.COM with原创 2021-02-09 14:26:45 · 514 阅读 · 0 评论 -
Kafka开启kerberos安装与验证(2)
1、Kafka 开启ACL1.1 开启acl认证在kafka中server.properties文件中添加如下配置:# 配置kafka中对权限的认证authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer# 配置kafka认证的超级管理员super.users=User:kafka修改整个集群中的配置文件后,滚动重启kafka集群。2、设置Kafka主题Acl权限2.1 查看现有的认证主体列出的认证主体中有我们之前添加的原创 2021-02-08 16:31:08 · 764 阅读 · 0 评论 -
Kafka开启kerberos安装与验证(1)
1、环境准备1、java version “1.8.0_131”2、zookeeper-3.4.123、kafka-2.12-2.3.14、基于本人的另外两篇博客已安装kerberos与Zookeeperkafka的安装建议通过百度一下相关教程很多,本文就不在论述。2、kafkaServer端开启kerberos2.1 添加认证主体[root@henghe-01 data] kadmin.localkadmin.local>addprinc -randkey kafka/henghe原创 2021-02-07 14:30:29 · 2638 阅读 · 10 评论 -
Kafka镜像复制KIP-382:MirrorMaker 2.0
kafka镜像复制KIP-382:MirrorMaker 2.0原创 2020-12-17 17:50:19 · 473 阅读 · 0 评论 -
kafka-2.5.1源码阅读之KafkaProducer
KafkaProducer介绍KafkaProducer是kafka生成者生成数据写入kafka集群,通过实例化对象调取send方法发送数据到对应的Topic中存储。实例化相关参数的校验分区器序列化器后台发送线程本地缓存记录集合生产者元数据信息事务管理生产者拦截器后边会详细介绍相关核心操作元数据更新 /** * Wait for cluster metadata including partitions for the given topic to be a原创 2020-12-14 18:14:59 · 225 阅读 · 0 评论 -
kafka源码阅读之Partitioner
1、介绍kakfa版本:2.5.1kafka集群中Topic用来存储数据对应的数据,Topic又被由一个或者多个分区组成。根据kafka的设计原理分区内部的数据是有序的但是如何将数据发送到对应的分区需要根据分区器来决定。kafka内部携带的分区器:DefaultPartitioner :当Record包含Key键时给据key键值进行hash分区,当不包含时采用的是StickyPartition(旧版本采用的是轮询的方式)UniformStickyPartitioner :KIP-480Rou原创 2020-12-14 14:29:03 · 411 阅读 · 0 评论 -
kafka权限的管理详解(高玩、干货)
转载——高玩出品原创 2020-09-11 16:44:26 · 626 阅读 · 0 评论 -
kafka connect 秘密外部化的解決方案
转载KIP297原创 2020-08-26 09:37:28 · 128 阅读 · 0 评论 -
kafka开启Kerberos安全认证Java编程生成者与消费组示例
一、相关配置文件kafka_client_jaas.conf配置项KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true storeKey=true keyTab="D:\\kafka-connect\\5.5.0\\kafka-schema-test\\src\\main\\resources\\test.service.keytab" useTic原创 2020-07-06 13:02:59 · 1953 阅读 · 0 评论 -
Kafka Connect 中avro序列化Date数据类型时在使用官方推荐的方式编码时引发的血案
前言在工作中使用DataX组件来封装Sink端写入Kafka中,在使用Schema注册器时遇到的问题。本人的另一篇博客,中所使用的方式在这种方式下存在一个非常严重的bug,avro只支持基本数据对应date类的数据类型时无法序列化。最终导致本人已写好的代码进行了重构。对应date数据类型在国内使用时会出现反序列化的数据不一致。解决方案参考本人的另一篇博客。直接上Demo演示生成者package org.apache.kafka.connect.runtime;import io.conflu原创 2020-05-18 18:01:47 · 1738 阅读 · 0 评论 -
Kafka Connect Api 中Date引起的数据反序列化后不一致情况
因为代码中默认使用的是UTC时区,在序列化时与反序列化时是按照UTC时区来计算的,身为国内的我们不适合此计算方式。修改后可以保证数据在反序列化时数据的一致性。修改前/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for addition原创 2020-05-18 17:35:44 · 741 阅读 · 0 评论 -
Kafka Connect相关插件配置文档
Kafka Connect相关插件配置文档文章目录Kafka Connect相关插件配置文档前言一、HDFS 2 Sink 插件1.1主要功能点1.2 环境准备1.3 HDFS 2 Sink 安装1.4 快速开始1.5 HDFS 2连接器配置选项1.5.1 HDFS1.5.2 安全1.5.3 连接器1.5.4 存储1.5.5 分区器1.5.6 Hive1.5.7 Schema1.6 格式和分区1.7 蜂巢整合1.8 安全的HDFS和Hive Metastore1.9 模式演变二 、JDBC Source原创 2020-05-18 17:25:01 · 1507 阅读 · 2 评论 -
Confluent Schema Registry 与Kafka Connect 联合使用(均是自行编译非Confluent平台安装包)
一、Confluent Schema Registry 的编译请查看本人的其他博客进行编译使用Kafka的libs库中的kafka Connect进行配置启动二、相关配置项cheama Registry的配置可以参考本文章kafka Connect的配置如下:### Licensed to the Apache Software Foundation (ASF) under ...原创 2020-04-19 15:07:49 · 930 阅读 · 2 评论 -
Kafka-schema-registry的编译安装
一、安装Maven下载Maven安装包wget https://mirrors.aliyun.com/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz解压安装tar -zxvf apache-maven-3.6.3-bin.tar.gz配置环境变量查看是否安装成功二、下载源码包在下载...原创 2020-04-02 18:10:51 · 1218 阅读 · 4 评论 -
ConsumerRebalanceListener机制在实战中的使用
ConsumerRebalanceListener机制在实战中的使用通过图解的方式来了解再平衡机制原创 2020-01-17 16:30:20 · 2869 阅读 · 0 评论 -
Kafka常用的指令
1、Kafka集群查看你消费组信息kafka-consumer-groups.sh --bootstrap-server henghe-042:9092 --list创建一个Topic/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper henghe-042:2181 --replication-factor 3 --...原创 2020-01-06 16:22:05 · 201 阅读 · 0 评论 -
Kafka 的 Confluent Schema Registry安装与使用教程
1 、Confluent Schema Registry 安装教程Schema Registry的各个发现行版本的下载链接上传到linux系统进行解压安装。本教程使用外部以安装好的Kafka集群不使用内部默认的。修改confluent-5.3.1/etc/schema-registry/schema-registry.properties配置文件## Copyright 2018 ...原创 2020-01-03 15:17:00 · 7232 阅读 · 2 评论 -
Kafka Connect 分布式部署方案
前言:Zookeeper、Kafak的集群部署这里不过多说明。版本:Kafka2.3。一 、 kafak Connect的分布式配置文件 ### Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTIC...原创 2019-12-30 14:03:02 · 1671 阅读 · 0 评论 -
Kafka Connect 消费者模型
1、消费者模型原创 2019-12-12 13:54:41 · 150 阅读 · 0 评论 -
Kafka Connect的生产者模型流程图
1、生产者模型原创 2019-12-11 16:36:09 · 225 阅读 · 0 评论 -
Kafka Connect主要涉及到的类的类图
1、Kafka Connect的类图原创 2019-12-11 10:34:17 · 189 阅读 · 0 评论 -
Kafka Connect是如何保证数据精准一次
通过阅读源码可以看到Kafka Connect在对生产者以及消费者的默认配置对我们在编写生成者与消费者的启发。 static Map<String, Object> producerConfigs(ConnectorTaskId id, String defaultClientId,...原创 2019-12-10 17:22:10 · 414 阅读 · 0 评论 -
Kafka使用TopcCommand指令创建主题
示例public static void createTopic(){String[] optios = new String[]{"--zookeeper","localhost:2181/kafka","--create","--replication-factor","1","--partitions","1","--topic","topic-create-api"};...原创 2019-12-09 09:28:20 · 541 阅读 · 1 评论