Kafka鉴权与限流

最新推荐文章于 2024-02-22 12:00:00 发布
最新推荐文章于 2024-02-22 12:00:00 发布
阅读量583 收藏
点赞数
分类专栏： Java Kafka 文章标签： kafka ssl java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tb77506668/article/details/124862825
版权
本文介绍了Kafka在0.9.0.0版本后的安全增强，包括SSL和SASL的身份验证机制。详细讲解了如何使用SSL加密连接以及SASL的Kerberos、PLAIN和SCRAM-SHA-256/512认证方式，特别是SASL/PLAIN的生产环境应用和SASL/SCRAM的动态认证特性。同时，提供了配置Kafka Brokers和客户端的步骤，强调了安全注意事项，如SSL的性能影响和SCRAM的凭证管理。
摘要由CSDN通过智能技术生成

Kafka鉴权与限流

https://kafka.apache.org/21/documentation.html#security

Overview

在 0.9.0.0 版本中，Kafka 社区添加了许多功能，这些功能可以单独或一起使用，以提高 Kafka 集群的安全性。
当前支持以下安全措施:

  • 使用 SSL 或 SASL 验证从客户端（生产者和消费者）、其他代理和工具到代理的连接.Kafka 支持以下 SASL 机制:
    • SASL/GSSAPI (Kerberos) - starting at version 0.9.0.0
    • SASL/PLAIN - starting at version 0.10.0.0
    • SASL/SCRAM-SHA-256 and SASL/SCRAM-SHA-512 - starting at version 0.10.2.0
    • SASL/OAUTHBEARER - starting at version 2.0
  • 从brokers 到 ZooKeeper 的连接身份验证
  • Encryption of data transferred between brokers and clients, between brokers, or between brokers and tools using SSL(请注意，启用 SSL 时会出现性能下降，其幅度取决于 CPU 类型和 JVM 实现)
  • Authorization of read / write operations by clients
  • Authorization is pluggable and integration with external authorization services is supported

使用 SSL 进行加密和身份验证

Apache Kafka 允许客户端通过 SSL 连接。默认情况下，SSL 处于禁用状态，但可以根据需要打开。

本次调研不是用, 如果有需要可以点链接进行查看…

使用 SASL 进行身份验证

Kafka 可以使用 Java 身份验证和授权服务 (JAAS) 进行 SASL 配置

JAAS 配置

介绍了使用JAAS认证的步骤, 可以查看,后面不同的类型, 会有具体提现

SASL 配置

介绍SASL配置的步骤, 点击链接查看, 后面具体配置有提现的方式

SASL 可以与 PLAINTEXT 或 SSL 一起使用，作为传输层，分别使用安全协议 SASL_PLAINTEXT 或 SASL_SSL
如果使用 SASL_SSL，则还必须配置 SSL, 因此我们使用的是SASL_PLAIN
  • Kafka SASL的机制

    Kafka 支持以下 SASL 机制：

最低0.47元/天 解锁文章
tb77506668
关注
专栏目录
【kafka】kafka broker 限流 topic 限流 配额
九师兄
03-11 2238
1. 概述 翻译：配额 4.9 配额 Kafka集群有能力对请求执行配额来控制客户端使用的代理资源。Kafka broker可以为每组共享配额的客户端强制执行两种类型的客户端配额: 网络带宽配额定义字节率阈值(从0.9开始) 请求速率配额将CPU利用率阈值定义为网络和I/O线程的百分比(从0.11开始) 为什么需要配额? 生产者和消费者可能产生/消费非常大量的数据或以非常高的速率生成请求，从而独占代理资源，导致网络饱和，并且通常DOS其他客户端和代理本身。拥有配额可以防止这些问题，而且在大型多租户集群中尤.
Kafka鉴权
jiuweiC的博客
11-21 881
kafka鉴权
Kafka限流
走向程序的康庄大道
04-09 5381
客户端认证如果kafka客户端是认证的，那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=1048576,consumer_byte_rate=1024' --entity-...
鉴权kafka生产端（SCRAM）
长臂人猿的博客
10-27 2376
前言 kafka官网关于sasl_scram 鉴权Kafka消费端配置 创建SCRAM Credentials 依赖zk，需要先启动zk，然后在zk中创建存储SCRAM 凭证： cd kafkacluster/kafka_2.11-1.1.1 bin/kafka-configs.sh --zookeeper zkIP1:2181,zkIP2:2181,zkIP3:2181/lxgkafka --alter --add-config 'SCRAM-SHA-256=[password=admin-secr
KAFKA鉴权设计以及相关探讨
李姓门徒
01-31 1772
鉴权，分别由**鉴**和**权**组成 - **鉴**： 表示身份认证，认证相关用户是否存在以及相关的用户名和密码是否一致 - **权**： 完成身份的**鉴**后，还需要判断用户是否有相关操作的权限。 因此对于某一个用户来说，通常情况下，需要完成**鉴**和**权**才能够满足一个完整的业务场景，因此通常将**鉴权**放在一起考量。本文探讨kafka的鉴权常用的鉴权方式以及相关鉴权设计方式。
Kafka集群多用户访问权限分治和消息共享配置指导
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
04-24 2875
这明显在生产环境，这种认证方式时不符合实际业务场景的。allow.everyone.if.no.acl.found=true #false的话就只能超级用户才能访问资源，true的话其他也可以，如果用户读写一个 Topic，但是没有配置 ACL 权限，客户端会报认证失败错误。现场业务由于多厂商集成，共享数据需要，需对接当前kafka集群，为做到类似租户隔离的功能，需要开启kafka的权限控制和动态用户管理功能，实现不同厂商访问被授权的合法资源，消费者账号只能消费数据，生产者账号只能生产数据。
在需要 ClientId 鉴权的 Kafka 集群中，高效使用 Producer 和 Consumer 的方法
gelaozideha的博客
09-08 1026
ClientId 在 Kafka 中主要用于标识和管理客户端应用程序，以及为监控、日志记录和资源管理提供支持。通过为每个客户端分配唯一的 ClientId，你可以更好地跟踪和管理 Kafka 集群中的各个客户端连接。然而在某些公司，ClientId 是用于鉴权和限流的，因此在使用 Kafka 时需要确保 ClientId 与申请 Topic 时的 ClientId 保持一致。
滴滴Logi-KafkaManager 一站式Kafka监控与管控平台
javadada1197的博客
08-03 705
滴滴内部统一使用 kafka 作为大数据的数据通道，当前滴滴共有几十个 kafka 集群，450+ 的节点，20k+ 的 kafka topic，每天2w亿+的消息量；每周500+UV用户，需要完成 topic 创建、申请、指标查看等操作；每天运维人员还有大量集群、topic运维操作。因此我们需要构建一个Kafka的管控平台来承载这些需求。 在平台建设的初期，我们调研了社区同类产品的使用情况，在调...
滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台
DiDi_Tech的博客
01-14 6617
桔妹导读： LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管...
kafka的客户端限流（资源配额）
程序猿的樊笼
12-19 3316
本文说明的是Kafka的客户端（生产者、消费者）与broker之前的限流，不是kafka的broker间topic副本同步的限流。
kafka流量限制
热门推荐
黑曼巴
05-01 1万+
文章目录1.官网参考地址2.可以设置限制流量参数3.流量限制维度及组合4.如何设置流量5.限制用户流量阀值如何设置6.流量限制效果 1.官网参考地址 http://kafka.apache.org/21/documentation.html#design_quotas 2.可以设置限制流量参数 producer_byte_rate=1024 #单个broker入流量限制参数，单位字节 cons...
Kafka限流实测
guohan的博客
04-27 4290
通过kafka生产消费配额管理可以消峰，减少瞬时kafka的压力。生产配额可以配置每秒写入kafka的字节数，消费配额可以配置每秒消费字节数。 配置粒度可以是全局的，也可以是用户级或者clientId级别。 可以通过kafka自带的配置脚本进行配置，如下： bin/kafka-configs.sh \ --zookeeper 192.168.1.227:2181 \ --alter --add-config 'producer_byte_rate=10.
zookeeper/kafka SASL_PLAINTEXT鉴权
weixin_43156511的博客
01-23 513
zookeeper/kafka2.12-6.0开启SASL认证
大数据Hadoop之——Kafka鉴权认证（Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证）
匠人精神，持之以恒！
06-06 3438
Kerberos概述与安装可以参考我之前的文章：Kerberos认证原理与环境部署Kafka安装可以参考我以前的文章：大数据Hadoop之——Kafka 图形化工具 EFAK（EFAK环境部署） 分布式开源协调服务——ZookeeperKafka Kerberos认证官方文档：https://kafka.apache.org/31/documentation.html#security_saslKafka 是服务，所以这里使用的是服务principal，不清楚的小伙伴可以看我上面的文章。格式如下： 1）创
鉴权Kafka消费端配置
长臂人猿的博客
03-22 2299
前言 在实际使用Kafka消费的时候我们往往会遇到加密的Kafka集群。 消费者 创建Kafka配置文件 (1)创建 config/client-sasl.properties 文件 cd /app/kafka_2.11-1.1.1 vi config/client-sasl.properties security.protocol=SASL_PLAINTEXT sasl.mechanism=SCRAM-SHA-256 (2)根据指定账号创建生产命令( conf文件+sh文件 ) 配置conf
kafka安全认证与授权（SASL-PLAIN）
最新发布
wangluoanquan111的博客
02-22 1979
第一种是报网络安全专业，现在叫网络空间安全专业，主要专业课程:程序设计、计算机组成原理原理、数据结构、操作系统原理、数据库系统、 计算机网络、人工智能、自然语言处理、社会计算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。在每个Kafka broker的配置目录中添加一个经过适当修改的JAAS文件，类似于下面的文件，在本例中，我们将其称为kafka_server_jaas.conf。R匹配，则R没有关联的acl，因此除了超级用户之外，任何人都不允许访问R。
kafka安全认证与授权（SASL/PLAIN）
u011618288的博客
02-09 8389
快速搭建kafka SASL+ACL实现安全认证、授权 kafka SASL/PLAIN
二、kafka分区副本重分配-限流
Coding fly的博客
11-19 2073
这一篇我们主要来看看分区副本重分配限流是如何实现的，此源码分析基于kafka2.5版本。在开始之前我们先来回顾一下分区重分配的流程，如图一所示。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 执行分区重分配脚本，这里相当于起了个kafka客户端，执行完脚本将重分配数据写入zk即返回了。 kafkaController监听到zk分区重分配节点数据变动，会调相应的handler来处理数据，这里相当于kafka服务端大脑的角色，控制了分区重分配主要处理的流程，并发送命令给其他节点执行，描
springboot整合kafka 鉴权
10-18
在Spring Boot中整合Kafka的鉴权可以通过配置Kafka的安全协议来实现。具体步骤如下： 1. 在Kafka服务器端配置安全协议，包括SSL和SASL认证等。 2. 在Spring Boot应用程序中配置Kafka的安全协议，包括SSL和SASL认证等。 3. 在Spring Boot应用程序中使用KafkaTemplate或者KafkaConsumer来发送或接收消息。 下面是一个简单的示例代码： ```java @Configuration @EnableKafka public class KafkaConfig { @Value("${spring.kafka.bootstrap-servers}") private String bootstrapServers; @Value("${spring.kafka.security.protocol}") private String securityProtocol; @Value("${spring.kafka.ssl.trust-store-location}") private String trustStoreLocation; @Value("${spring.kafka.ssl.trust-store-password}") private String trustStorePassword; @Value("${spring.kafka.ssl.key-store-location}") private String keyStoreLocation; @Value("${spring.kafka.ssl.key-store-password}") private String keyStorePassword; @Value("${spring.kafka.ssl.key-password}") private String keyPassword; @Value("${spring.kafka.ssl.endpoint-identification-algorithm}") private String endpointIdentificationAlgorithm; @Value("${spring.kafka.sasl.mechanism}") private String saslMechanism; @Value("${spring.kafka.sasl.jaas.config}") private String saslJaasConfig; @Bean public KafkaTemplate<String, String> kafkaTemplate() { return new KafkaTemplate<>(producerFactory()); } @Bean public ProducerFactory<String, String> producerFactory() { return new DefaultKafkaProducerFactory<>(producerConfigs()); } @Bean public Map<String, Object> producerConfigs() { Map<String, Object> props = new HashMap<>(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, securityProtocol); props.put(SslConfigs.SSL_TRUSTSTORE_LOCATION_CONFIG, trustStoreLocation); props.put(SslConfigs.SSL_TRUSTSTORE_PASSWORD_CONFIG, trustStorePassword); props.put(SslConfigs.SSL_KEYSTORE_LOCATION_CONFIG, keyStoreLocation); props.put(SslConfigs.SSL_KEYSTORE_PASSWORD_CONFIG, keyStorePassword); props.put(SslConfigs.SSL_KEY_PASSWORD_CONFIG, keyPassword); props.put(SslConfigs.SSL_ENDPOINT_IDENTIFICATION_ALGORITHM_CONFIG, endpointIdentificationAlgorithm); props.put(SaslConfigs.SASL_MECHANISM, saslMechanism); props.put(SaslConfigs.SASL_JAAS_CONFIG, saslJaasConfig); return props; } @Bean public ConsumerFactory<String, String> consumerFactory() { return new DefaultKafkaConsumerFactory<>(consumerConfigs()); } @Bean public Map<String, Object> consumerConfigs() { Map<String, Object> props = new HashMap<>(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, securityProtocol); props.put(SslConfigs.SSL_TRUSTSTORE_LOCATION_CONFIG, trustStoreLocation); props.put(SslConfigs.SSL_TRUSTSTORE_PASSWORD_CONFIG, trustStorePassword); props.put(SslConfigs.SSL_KEYSTORE_LOCATION_CONFIG, keyStoreLocation); props.put(SslConfigs.SSL_KEYSTORE_PASSWORD_CONFIG, keyStorePassword); props.put(SslConfigs.SSL_KEY_PASSWORD_CONFIG, keyPassword); props.put(SslConfigs.SSL_ENDPOINT_IDENTIFICATION_ALGORITHM_CONFIG, endpointIdentificationAlgorithm); props.put(SaslConfigs.SASL_MECHANISM, saslMechanism); props.put(SaslConfigs.SASL_JAAS_CONFIG, saslJaasConfig); return props; } @Bean public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); return factory; } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值