kafka
CarbonDioxide12138
我什么都不知道,要学的东西太多了
展开
-
kafka connector 中的轻量级ETL-transfomation功能介绍
在kafka connector的使用中,可能因为各种原因(业务原因、connector需要key或者schema等)需要用到transfomation,处理消息的内容。下面列举了kafka connector 自带的transfomation的功能,帮助大家了解一下,当然有能力也可以自己开发transfomation组件。功能 转换器名称 转换器类型 独有配置 对应功...原创 2018-11-12 20:36:19 · 868 阅读 · 0 评论 -
kafka集群安全化之启用kerberos与acl
一、背景在我们部署完kafka之后,虽然我们已经可以“肆意”的用kafka了,但是在一个大公司的实际生产环境中,kafka集群往往十分庞大,每个使用者都应该只关心自己所负责的Topic,并且对其他人所使用的Topic没有权限。这样一来可以将资源隔离开来,二来可以防止误操作。在权限控制之前,我们必须要启用的就是用户认证,没有用户,自然没有权限一说了。二、kafka启用kerberos认证2.1 在K...原创 2018-03-25 20:41:11 · 4936 阅读 · 0 评论 -
kafka 启动时提示 /brokers/ids/1001 is: NODEEXISTS
背景: 通过ambari安装kafka之后,两台broker能正常启动,一台无法正常启动知识介绍:broker id是broker的唯一标识,不能和其他broker冲突在kafka有两种配置方式broker.id的方式 1.手动指定broker.id=1001 2.通过配置 broker.id.generation.enable=true,让服务器自动生成 生成逻辑如下: a.获取reserved.broker.max.id的值(默认为1原创 2021-07-21 15:46:33 · 1933 阅读 · 0 评论 -
kafka 2.4 新版 Java Authorizer API解析
目录背景接口方法解析实现类AclAuthorizer解析start方法configure方法authorize方法createAcls背景 kafka 2.4 的release note 除了引入MirrorMaker 2.0 之外,还有一项改动是引入了新的java版的认证API接口。原因是这样的: kafka使用scla版的kafka.security.auth.Authorizer的trait来支持可插拔的原创 2020-07-27 21:32:54 · 714 阅读 · 0 评论 -
kafka使用mysql进行认证管理
目录背景SASL/SCRAMSASL/PLAIN改造新建mysql 元信息库新增mysql 连接池工具类修改PlainSaslServer类打包测试背景 因为公司其他业务方使用的语言多种多样,以C和C++为主,还有python、php、go、等语言,java只占很少一部分,所以在公司想推行kerberos认证很困难,总是遇到各种各样的阻碍和业务方的不配合,或者干脆以业务紧急为理由,走非认证端口,所以我们想用一种相对简单的认证方式来在公司进行推广。想要的效果就原创 2020-07-04 15:53:37 · 425 阅读 · 0 评论 -
kafka只让Producer自动创建Topic同时禁止consumer自动创建Topic
kafka只让Producer自动创建Topic背景操作后记背景 最近我们要做从mysql 到大数据平台的数据流转,定下的方案是maxwell同步binlog到kafka中,再由flink消费kafka的数据写往kudu里,最后利用kudu和hive利用impala提供的视图作统一查询,其中kudu保留近七天的数据,七天前数据滚动下沉到hive表。 maxwell实例和kafka topic的对应关系是一个ma原创 2020-07-02 22:12:21 · 8794 阅读 · 0 评论 -
修改源码使kafka-console-consumer.sh支持从指定时间开始消费
目录背景解决方案方案1-用Java新开发一个的消费工具方案2-修改kafka源码,利用kafka-console-consumer.sh方案2-flinkSQL 或 kafka SQL环境准备修改代码打包测试背景 有业务方向我们提出,自从我们给kafka集群启用权限和认证之后,他们在排错过程就十分不方便了,以前他们换一个消费组就可以重新消费数据了,现在每换一个消费组都需要重新由我们给他们授权,碰到有时不在工位的时候,就只能干着急了;第二,我们kafka原创 2020-06-29 22:49:28 · 2893 阅读 · 0 评论