Kafka流处理平台
文章平均质量分 68
Kafka消息队列
麦田里的守望者·
相信相信的力量
展开
-
Kafka SASL_SSL集群认证
公司需要对kafka环境进行安全验证,目前考虑到的方案有Kerberos和SSL和SASL_SSL,最终考虑到安全和功能的丰富度,我们最终选择了SASL_SSL方案。到此为止,SSL的证书生成和签发完成,可以在当前目录下看到server.keystore.jks和server.truststore.jks文件,最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现,然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1)生成keystore。原创 2024-05-23 13:21:33 · 1997 阅读 · 0 评论 -
kafka Kerberos集群环境部署验证
修改完成后,重复上述步骤,分别完成citicbank-bdp-1a-04 / citicbank-bdp-1a-05主机上的keytab文件生成,重启kafka服务即可。注意:需要给每个机器生成单独的keytab文件,然后将生成的文件拷贝到对应的kafka服务节点的/export/server/文件夹子下。然后将该主机/root/kafka.keytab文件拷贝到citicbank-bdp-1a-03主机的/export/server/目录下。例如:citicbank-bdp-1a-03主机。原创 2024-05-23 10:50:22 · 489 阅读 · 0 评论 -
Kafka安全认证-Kerberos&SCRAM
配置SASL/PLAIN验证,实现了对Kafka的权限控制。但SASL/PLAIN验证有一个问题:只能在JAAS文件KafkaServer中配置用户,一但Kafka启动,无法动态新增用户。SASL/SCRAM验证可以动态新增用户并分配权限安装步骤.原创 2023-02-26 20:20:12 · 834 阅读 · 0 评论 -
Kafka SSL认证
参考:https://www.ibm.com/docs/zh/cloud-paks/cp-biz-automation/21.0.3?在kafka安装目录下/certificates生成keystore和trust文件,在其中一台机器声生成证书,然后将。文件拷贝其他broker节点上去即可。3.导入CA到truststore。1.生成keystore。原创 2024-05-21 18:45:04 · 777 阅读 · 0 评论 -
Kafka安全认证-SASL
Kafka Sasl认证部署原创 2022-08-24 15:06:46 · 1352 阅读 · 0 评论 -
Kafka Manager 安装
https://www.cnblogs.com/frankdeng/p/9584870.html转载 2020-01-15 11:06:13 · 195 阅读 · 0 评论 -
Apache Kafka -消息队列(最新版)
概述Apache Kafka是Apache软件基金会的开源的流处理平台,该平台提供了消息的订阅与发布的消息队列,一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同,Kafka Streaming计算是运行在应用端,具有简单、入门要求低、部署方便等优点。总体来说Kafka这门课程需要大家掌握...原创 2020-01-04 18:34:29 · 741 阅读 · 0 评论 -
SpringBoot + Kafka 集成
@KafkaListeners(value = {@KafkaListener(topics = {"topic04"})})@SendTo(value = {"topic05"})public String listenner(ConsumerRecord<?, ?> cr) { return cr.value()+" mashibing edu";}<pa...原创 2019-11-28 14:02:01 · 299 阅读 · 0 评论 -
Apache Kafka Stream
Kafka Streams流计算定义一般流式计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上是无界的,也就意味着,永远拿不到全量数据去做计算。同时,计算结果是持续输出的,也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高,同时一般是先定义目标计算,然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率,往往尽可能采用增量计算代替全量计算。批量处理模型中,一...原创 2019-06-11 09:31:19 · 2194 阅读 · 1 评论 -
Apache Kafka 消息队列
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wy 百知教育Apache Kafka概述Kafka是Apache软件基金会的开源的流处理平台,该平台提供了消息的订阅与发布,能够基于Kafka实现对网络日志流实时在线处理,在这个维度上弥补了Hadoop的离线分析系统的不足。因为基于hadoop的MapReduce系统分析离线数据延...原创 2019-04-17 15:21:47 · 1013 阅读 · 1 评论