Kafka系列之-Kafka Protocol实例分析

最新推荐文章于 2024-05-07 10:28:08 发布
最新推荐文章于 2024-05-07 10:28:08 发布
阅读量4.6k 收藏 1
点赞数 1
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dabokele/article/details/54575974
版权

　　本文基于A Guide To The Kafka Protocol文档，以及Spark Streaming中实现的org.apache.spark.streaming.kafka.KafkaCluster类。整理出Kafka中有关

  • Metadata API
  • Produce API
  • Fetch API
  • Offset API(Aka ListOffset)
  • Offset Commit/Fetch API
  • Group Membership API
  • Administrative API
    　　

零、准备工作

　　需要运行以下部分的示例代码时，需要提前建好需要的topic，写入一些message，再用consumer消费一下。

1、新建topic

[hadoop@kafka001 kafka]$ bin/kafka-topics.sh --zookeeper kafka001:2181 --create --topic kafka_protocol_test --replication-factor 3 --partitions 4
Created topic "kafka_protocol_test".
[hadoop@kafka001 kafka]$ bin/kafka-topics.sh --zookeeper kafka001:2181 --describe --topic kafka_protocol_test
Topic:kafka_protocol_test   PartitionCount:4    ReplicationFactor:3 Configs:
    Topic: kafka_protocol_test  Partition: 0    Leader: 1   Replicas: 1,2,3 Isr: 1,2,3
    Topic: kafka_protocol_test  Partition: 1    Leader: 2   Replicas: 2,3,4 Isr: 2,3,4
    Topic: kafka_protocol_test  Partition: 2    Leader: 3   Replicas: 3,4,1 Isr: 3,4,1
    Topic: kafka_protocol_test  Partition: 3    Leader: 4   Replicas: 4,1,2 Isr: 4,1,2

2、produce message

　　使用Kafka系列之-自定义Producer中提到的KafkaProducerTool往指定kafka_protocol_test中发送消息，

public class ProducerTest2 {
    public static void main(String[] args) throws InterruptedException {
        KafkaProducerTool kafkaProducerTool = new KafkaProducerToolImpl("D:\\Files\\test\\kafkaconfig.properties");
        int i = 1;
        while(true) {
            kafkaProducerTool.publishMessage("message" + (i++));
        }
    }
}

　　运行一段时间后停止写入。运行一个console-consumer从kafka_protocol_test消费message。

3、consume message

　　运行一个console-consumer从kafka_protocol_test消费。注意观察该topic每个partition中的messages数。

[hadoop@kafka001 kafka]$ bin/kafka-console-consumer.sh --zookeeper kafka001:2181 --topic kafka_protocol_test --from-beginning

　　这里写图片描述

一、Metadata API

　　这个API是通过向Kafka集群发送一个TopicMetadaaRequest请求，得到MetadataResponse响应后从MetadataResponse中解析出Metadata相关信息。
　　TopicMetadataRequest的结构和示例如下
　　

case class TopicMetadataRequest(val versionId: Short,
                                val correlationId: Int,
                                val clientId: String,
                                val topics: Seq[String])

TopicMetadataRequest(TopicMetadataRequest.CurrentVersion, 0, config.clientId, topics)

　　得到的MetadataResponse包含的信息如下，可以从PartitionMetadata中获取到Partition相关信息，从TopicMetadata中获取到Topic相关信息，Broker中记录了Broker的ip和端口号等。

MetadataResponse => [Broker][TopicMetadata]
  Broker => NodeId Host Port  (any number of brokers may be returned)
    NodeId => int32
    Host => string
    Port => int32
  TopicMetadata => TopicErrorCode TopicName [PartitionMetadata]
    TopicErrorCode => int16
  PartitionMetadata => PartitionErrorCode PartitionId Leader Replicas Isr
    PartitionErrorCode => int16
    PartitionId => int32
    Leader => int32
    Replicas => [int32]
    Isr => [int32]

1、所包含的信息

可以查询指定Topic是否存在，
指定topic有多少个partition，
每个partition当前哪个broker处于leader状态，
每个broker的host和port是什么

　　如果设置了auto.create.topics.enable参数，遇到不存在的topic时，就会按默认replication和partition新建该不存在的topic。
　　

2、示例

　　生成一个TopicMetadataRequest对象

// 封装一个TopicMetadataRequest类型的请求对象
val req = TopicMetadataRequest(TopicMetadataRequest.CurrentVersion, 0, config.clientId, topics)
// 发送该请求
val resp: TopicMetadataResponse = consumer.send(req)
// 其中consumer对象是SimpleConsumer类型的
new SimpleConsumer(host, port, config.socketTimeoutMs,
      config.socketReceiveBufferBytes, config.clientId)

（1）查询topic是否存在
　　由于在TopicMetadataRequest中可以发送一组Seq[String]类型的topics，所以获取到的TopicMetadataResponse.topicsMetadata是Set[TopicMetadata]类型的。
　　对每个TopicMetadata对象，如果其errorCode不为ErrorMapping.NoError即表示该Topic不正常。
　　

topicMetadatas.foreach { topic =>
  if (topic.errorCode == ErrorMapping.NoError)
    println(s"topic: ${topic.topic}存在")
  else
    println(s"topic: ${topic.topic}不存在")
}

（2）获取Topic的Partition个数
　　首先将所有TopicMetadata中正常的Topic过滤出来，然后遍历每一个TopicMetadata对象，获取其partitionsMetadata信息，其长度即Partition的个数

val existsTopicMetadatas = topicMetadatas.filter(tm => tm.errorCode == ErrorMapping.NoError)
existsTopicMetadatas.foreach { topic =>
   val numPartitions = topic.partitionsMetadata.length
   println(s"topic: ${topic.topic} 有${numPartitions}个partition")
}

（3）获取Partition具体情况
　　以下代码可以获取到Topic的每个Partition中的Leader Partition以及replication节点的信息。

existsTopicMetadatas.foreach { topic =>
    println(s"topic:${topic.topic}的Partition信息：")
    topic.partitionsMetadata.foreach { pm =>
    val leaderPartition = pm.leader
    println(s"\tpartition: ${pm.partitionId}")
    println(s"\tleader节点：$leaderPartition")
    val replicas = pm.replicas
    println(s"\treplicas节点：$replicas")
  }
}

3、运行结果

　　传入上面新建的kafka_protocol_test以及一个不存在的topic kafka_protocol_test1，以上代码的运行结果如下：

=============Topic相关信息===========
topic: kafka_protocol_test存在
topic: kafka_protocol_test1不存在
topic: kafka_protocol_test 有4个partition
=============Partition相关信息===========
topic:kafka_protocol_test的Partition信息：
    partition: 0
    leader节点：Some(id:1,host:kafka001,port:9092)
    replicas节点：Vector(id:1,host:kafka001,port:9092, id:2,host:kafka002,port:9092, id:3,host:kafka003,port:9092)
    partition: 1
    leader节点：Some(id:2,host:kafka002,port:9092)
    replicas节点：Vector(id:2,host:kafka002,port:9092, id:3,host:kafka003,port:9092, id:4,host:kafka004,port:9092)
    partition: 2
    leader节点：Some(id:3,host:kafka003,port:9092)
    replicas节点：Vector(id:3,host:kafka003,port:9092, id:4,host:kafka004,port:9092, id:1,host:kafka001,port:9092)
    partition: 3
    leader节点：Some(id:4,host:kafka004,port:9092)
    replicas节点：Vector(id:4,host:kafka004,port:9092, id:1,host:kafka001,port:9092, id:2,host:kafka002,port:9092)

二、Produce API

三、Fetch API

四、Offset API(Aka ListOffset)

　　这个API通过向Kafka集群发送一个OffsetRequest对象，从返回的OffsetResponse对象中获取Offset相关信息。
　　OffsetRequest对象描述如下

OffsetRequest => ReplicaId [TopicName [Partition Time MaxNumberOfOffsets]]
  ReplicaId => int32
  TopicName => string
  Partition => int32
  Time => int64
  MaxNumberOfOffsets => int32

　　上面Time的作用是，获取特定时间(单位为ms)之前的所有messages。如果设置为-1则获取最新的offset，即下一条messages的offset位置；如果设置为-2则获取第一条message的offset位置，即当前partition中的offset起始位置。

　　OffsetResponse对象描述如下

OffsetResponse => [TopicName [PartitionOffsets]]
  PartitionOffsets => Partition ErrorCode [Offset]
  Partition => int32
  ErrorCode => int16
  Offset => int64

1、所包含的信息

　　通过该API可以获取指定topic-partition集合的合法offset的范围，需要直接连接到Partition的Leader节点。

2、示例

　　获取指定topic下所有partition的offset范围
　　封装一个getLeaderOffsets方法，在此方法的基础上分别封装一个getEarliestLeaderOffsets方法用于获取最小offset，getLatestLeaderOffsets用于获取最大offset。
　　分别传入的关键参数是前面提到的Time，

def getLatestLeaderOffsets(
       topicAndPartitions: Set[TopicAndPartition]
       ): Either[Err, Map[TopicAndPartition, LeaderOffset]] =
    getLeaderOffsets(topicAndPartitions, OffsetRequest.LatestTime) // -1L
def getEarliestLeaderOffsets(
       topicAndPartitions: Set[TopicAndPartition]
       ): Either[Err, Map[TopicAndPartition, LeaderOffset]] =
    getLeaderOffsets(topicAndPartitions, OffsetRequest.EarliestTime) // -2L

　　在getLeaderOffsets中，查询到当前partition的leader节点，
  def findLeaders(topicAndPartitions: Set[TopicAndPartition]): Either[Err, Map[TopicAndPartition, (String, Int)]] = {
    // 获取当前topicAndPartitions中的所有topic
    val topics = topicAndPartitions.map(_.topic)
    // 获取topic对应的MetadataResp对象，之前已过滤不存在的topic，所以这里无需进一步过滤
    val topicMetadatas = getMetadataResp(topics.toSeq).left.get

    val leaderMap = topicMetadatas.flatMap { topic =>
      topic.partitionsMetadata.flatMap { pm =>
        val tp = TopicAndPartition(topic.topic, pm.partitionId)
        // 获取对应PartitionMedatada的leader节点信息
        pm.leader.map { l =>
          tp -> (l.host -> l.port)
        }
      }
    }.toMap
    Right(leaderMap)
  }

　　然后在这些节点中，封装一个OffsetRequest对象，向Kafka集群获得OffsetResponse对象。

val resp = consumer.getOffsetsBefore(req)
val respMap = resp.partitionErrorAndOffsets

　　最后从OffsetResponse对象中获取offset范围，

val resp = getMetadataResp(topics.toSeq)
    // 如果获取的resp是left，则处理返回的Set[TopicMetadata]
val topicAndPartitions = processRespInfo(resp) { resp =>
val topicMetadatas = resp.left.get.asInstanceOf[Set[TopicMetadata]]
val existsTopicMetadatas = topicMetadatas.filter(tm => tm.errorCode == ErrorMapping.NoError)
   getPartitions(existsTopicMetadatas)
}.asInstanceOf[Set[TopicAndPartition]]

// 获取指定topic-partition最早的offset
val offsetBegin = getEarliestLeaderOffsets(topicAndPartitions).right.get
// 获取指定topic-partition最晚的offset
val offsetEnd = getLatestLeaderOffsets(topicAndPartitions).right.get

print("=============Offset范围信息===========")
topicAndPartitions.foreach { tp =>
   println(s"topic: ${tp.topic}, Partition: ${tp.partition} 的Offset范围：")
   println(s"\t${offsetBegin(tp).offset} ~ ${offsetEnd(tp).offset}")
}

3、运行结果

　　连接到kafka_protocol_test，运行结果如下

topic: kafka_protocol_test, Partition: 0 的Offset范围：
    0 ~ 9000
topic: kafka_protocol_test, Partition: 1 的Offset范围：
    0 ~ 598134
topic: kafka_protocol_test, Partition: 2 的Offset范围：
    0 ~ 0
topic: kafka_protocol_test, Partition: 3 的Offset范围：
    0 ~ 91000

　　和第零节中图片显示结果一致。

五、Offset Commit/Fetch API

　　首先参考Offset Management文档中的描述，分析一下Kafka中有关Offset管理的文档。
　　在这篇文档中主要提供了OffsetFetch和OffsetCommit两个API，其中
　　

1、OffsetFetch API

　　这个API可以获取一个Consumer读取message的offset信息。发送的请求是OffsetFetchRequest类型的对象，接收到的是OffsetFetchResponse类型的响应。具体offset信息可以从OffsetFetchResponse对象中解析。
　　发送的Request请求为，需要指定consumer所属的group，以及需要获取offset的所有TopicAndPartitions。

val req = OffsetFetchRequest(groupId, topicAndPartitions.toSeq, 0)

　　或得到的响应为OffsetFetchResponse类型的对象。
val resp = consumer.fetchOffsets(req)
　　其中consumer对象是SimpleConsumer类型的
new SimpleConsumer(host, port, config.socketTimeoutMs,
      config.socketReceiveBufferBytes, config.clientId)

　　具体获取offset的逻辑如下，
withBrokers(Random.shuffle(config.seedBrokers)) { consumer =>
  // 连接consumer，发送该OffsetFetchRequest请求
  val resp = consumer.fetchOffsets(req)
  val respMap = resp.requestInfo
  // 从传入的topicAndPartitions中取出不包含在result中的topicAndPartition
  val needed = topicAndPartitions.diff(result.keySet)
  // 遍历每一个需要获取offset的topic-partition
  needed.foreach { tp: TopicAndPartition =>
    respMap.get(tp).foreach { ome: OffsetMetadataAndError =>
      // 如果没有错误
      if (ome.error == ErrorMapping.NoError) {
        result += tp -> ome
      } else {
        errs.append(ErrorMapping.exceptionFor(ome.error))
      }
    }
  }
  if (result.keys.size == topicAndPartitions.size) {
    return Right(result)
  }
}

2、OffsetCommit API

　　当最终调用commit()方法，或者如果启用了autocommit参数时，这个API可以使consumer保存其消费的offset信息。
　　发送的Request请求为OffsetCommitRequest类型。

　　OffsetCommitRequest需要传入的参数如下，

val offsetEnd = getLatestLeaderOffsets(topicAndPartitions).right.get
val resetOffsets = offsetsFetch.right.get.map { offsetInfo =>
val plus10Offset = offsetInfo._2.offset + 10
   offsetInfo._1 -> OffsetAndMetadata(if (offsetEnd(offsetInfo._1).offset >= plus10Offset) plus10Offset else offsetEnd(offsetInfo._1).offset)
    }
// resetOffsets类型为Map[TopicAndPartition, OffsetAndMetadata]
val req = OffsetCommitRequest(groupId, resetOffsets, 0)
// 发送该请求的方式如下
val resp = consumer.commitOffsets(req)

3、GroupCoordinator API

　　需要注意的是这个API在Kafka-0.9以后的版本中才提供。指定Consumer Group的offsets数据保存在某个特定的Broker中。
　　向Kafka集群发送一个GroupCoordinatorRequest类型的请求参数，该request对象中只需要指定一个groupId即可。如下所示，

val req = new GroupCoordinatorRequest(groupId)
val resp = consumer.send(req)

　　获取到的Response对象是GroupCoordinatorResponse类型的，在resp.coordinatorOpt中返回一个BrokerEndpoint对象，可以获取该Broker对应的Id, Ip, Port等信息。

4、示例

（1） 运行OffsetFetch API
(a) 获取kafka_protocol_test的consumer group消费状态
　　启动一个console-consumer从kafka_protocol_test topic消费messages。需要指定一个特定的group.id参数，如下所示，使用默认的consumer.properties配置文件即可。

bin/kafka-console-consumer.sh --zookeeper kafka001:2181 --topic kafka_protocol_test --from-beginning --consumer.config ./config/consumer.properties

　　运行后，将其停止，查看当前console-consumer的消费状态

[hadoop@kafka001 kafka]$  bin/kafka-consumer-offset-checker.sh --zookeeper kafka001:2181 --topic kafka_protocol_test --group test-consumer-group
Group           Topic                          Pid Offset          logSize         Lag             Owner
test-consumer-group kafka_protocol_test            0   9000            9000            0               none
test-consumer-group kafka_protocol_test            1   26886           598134          571248          none
test-consumer-group kafka_protocol_test            2   0               0               0               none
test-consumer-group kafka_protocol_test            3   18296           91000           72704           none

(b) 运行OffsetFetch代码，查看运行结果

　　运行时仍然传入test-consumer-group，运行结果如下

Topic: kafka_protocol_test, Partition: 0
    Offset: 9000
Topic: kafka_protocol_test, Partition: 1
    Offset: 26886
Topic: kafka_protocol_test, Partition: 2
    Offset: 0
Topic: kafka_protocol_test, Partition: 3
    Offset: 18296

　　对比后发现，两个offset信息保持一致。

（2）运行OffsetCommit API
　　在这里，将OffsetFetch获取到的每个TopicAndPartition对应的Offset加10，如果加10后超过其最大Offset，则取最大Offset。
　　在Commit前后，两次调用OffsetFetch API的代码，前后运行结果如下，
更新前的offset：

Topic: kafka_protocol_test, Partition: 0
    Offset: 9000
Topic: kafka_protocol_test, Partition: 1
    Offset: 26886
Topic: kafka_protocol_test, Partition: 2
    Offset: 0
Topic: kafka_protocol_test, Partition: 3
    Offset: 18296
更新后的offset：（partition 0和partition 2没有变化是由于加10后超过了该partition的offset范围最大值）
Topic: kafka_protocol_test, Partition: 0
    Offset: 9000
Topic: kafka_protocol_test, Partition: 1
    Offset: 26896
Topic: kafka_protocol_test, Partition: 2
    Offset: 0
Topic: kafka_protocol_test, Partition: 3
    Offset: 18306

（3）运行Group Coordinator API
　　传入一个consumer group后，查看其运行结果

Comsuner Group : test-consumer-group, coordinator broker is:
    id: 1, host: kafka001, port: 9092

六、Group Membership API

　　这个API从Kafka-0.9.0.0版本开始出现。
　　在0.9以前的client api中，consumer是要依赖Zookeeper的。因为同一个consumer group中的所有consumer需要进行协同，进行下面所讲的rebalance。但是因为zookeeper的“herd”与“split brain”，导致一个group里面，不同的consumer拥有了同一个partition，进而会引起消息的消费错乱。为此，在0.9中，不再用zookeeper，而是Kafka集群本身来进行consumer之间的同步。下面引自kafka设计的原文：
https://cwiki.apache.org/confluence/display/KAFKA/Kafka+0.9+Consumer+Rewrite+Design#Kafka0.9ConsumerRewriteDesign-Failuredetectionprotocol

　　相关知识点可以参考Kafka源码深度解析－序列7 －Consumer －coordinator协议与heartbeat实现原理。

七、Administrative API

　　注意，这个API也是从Kafka-0.9之后的client版本中才提供。通过这个API可以对Kafka集群进行一些管理方面的操作，比如获取所有的Consumer Groups信息。想要获取集群中所有Consumer Groups信息，需要发送一个ListGroupRequest请求到所有的Brokers节点。
　　还可以通过发送一个DescribeGroupsRequest类型的请求对象，获取对特定Consumer Group的描述。

　　在Kafka-0.9之后的client中，提供了一个kafka.admin.AdminClient类，调用createSimplePlaintext方法，传入一个broker list字val client = AdminClient.createSimplePlaintext(“kafka001:9092,kafka002:9092,kafka003:9092,kafka004:9092”)AdminClient`提供了很多方法，比如

def findCoordinator(groupId: String): Node
def findAllBrokers(): List[Node]
def listAllGroups(): Map[Node, List[GroupOverview]]
def listAllConsumerGroups(): Map[Node, List[GroupOverview]]

　　等等。

dabokele
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
kafka_protocol:Kafka协议Erlang库
05-08
用于Erlang / Elixir的Kafka协议库 该库提供： 基本的Kafka连接管理API Kafka协议线路格式编码/解码功能 Kafka RPC原语 实用程序功能可帮助构建请求和解析响应 有关完整的kafka客户端实现，请参见 。 压缩支持 从4.0开始，此库不再包含和作为钢筋依赖项。 但是， kafka_protocol仍然默认使用snappyer和lz4b_frame进行压缩和解压缩。 提供压缩模块替代 用户可以使用已实现以下API的模块覆盖默认压缩库： -callback compress(iodata()) -> iodata(). -callback decompress(binary()) -> iodata(). 有两种方法可以将这种动态依赖项注入kakfa_protocol ： 设置应用环境 例如{provide_compression, [{lz4, my
Kafka - protocol
weixin_33736048的博客
11-02 180
http://kafka.apache.org/protocol 翻译， http://colobu.com/2017/01/26/A-Guide-To-The-Kafka-Protocol/   具体的协议看原文，  Preliminaries Network Kafka uses a binary protocol over TCP. The protocol defines ...
32 | KafkaAdminClient：Kafka的运维利器
最新发布
qq_37756660的博客
05-07 803
今天要和你分享的主题是：Kafka 的运维利器 KafkaAdminClient。
A Guide To The Kafka Protocol
大叶子不小的博客
11-11 935
A Guide To The Kafka Protocol - Apache Kafka - Apache Software Foundation
Kafka Protocal Guide
sunning9001的专栏
03-22 385
Kafka TCP协议， 分区方式、broker信息查询、批量处理
python hbase读取数据发送kafka的方法
09-19
这里假设我们已经配置了Kafka的生产者实例。 ```python def send_to_kafka(self, data): producer = KafkaProducer(bootstrap_servers=['localhost:9092']) # 假设Kafka运行在本地 producer.send('my-topic', ...
Python-Confluent的ApacheKafkaPython客户端
08-11
Kafka可以与其他大数据工具（如Spark、Flink）配合，实现实时分析和模型训练。 总之，`confluent-kafka-python`为Python开发者提供了一个强大的工具，用于与Apache Kafka进行高效、可靠的交互。它简化了与Kafka集群...
mq------代码实例
11-11
总的来说，MQ是构建高可用、可扩展的现代软件系统的关键技术之一，其代码实例能帮助开发者更好地理解和应用这一技术。通过不断实践和学习，我们可以掌握如何利用MQ优化我们的应用程序，提升系统的稳定性和效率。
MQ消息队列实例
05-05
【MQ消息队列实例】 ...JMS适合需要跨语言和跨平台的场景，AMQP提供了更底层的控制，而Kafka在大数据处理和实时分析中表现出色。在实际应用中，根据项目需求和性能要求选择合适的MQ库和发送消息的方式至关重要。
集成MySql、Oracle、金仓、达梦、神通等数据库，SSH、FTP、Redis、Zookeeper、Kafka等管理工具
07-17
在数据库管理方面，TeamIDE允许用户方便地进行数据查询、编辑、备份、恢复等一系列操作，大大提升了开发效率。 在服务器和文件传输方面，TeamIDE内置了SSH（Secure Shell）和FTP（File Transfer Protocol）客户端。...
kafka使用protobuff序列化、反序列化
join_null的博客
07-16 3324
https://blog.csdn.net/u014801432/article/details/82558380
Kafka 消费 Protocol Buffer 数据
weixin_47032745的博客
03-30 797
文档地址：https://developers.google.cn/protocol-buffers/ 1.下载 protocol https://github.com/protocolbuffers/protobuf protobuf-master.zip 2.解压缩至工程目录下 3.下载编译器 https://github.com/protocolbuffers/protobuf/releases protoc-3.15.6-win32.zip 4.解压缩至项目所在位置src文件夹 5.配置 exe
Canal与Kafka数据传输协议protocol buffer
搞数据
02-01 670
实时数仓开发中，利用Canal伪装slave获取MySQL的增量数据，获取后的数据由Kafka生产者接收，交由Flink实时流计算。白话文：安装一个protobuf-dt 2.2.1插件，将编写的proto文件发送给已经下载好的protoc.exe文件编译，编译后产生的Java文件要设置放置路径。下图中Java输出地址，不用写package的地址，因为package地址在proto文件中已写，如果是proto2的话，在写proto文件的时候语法不同，这里2.5.0也是可以的。3）安装protocol插件。
Kafka安全性配置最佳实践
BXA
06-21 3849
Kafka安全性配置最佳实践一、Kafka 安全性配置1. 安全配置的必要性提高 Kafka 系统的可靠性添加认证配置 代码示例：添加 SSL 配置 代码示例：二、安全性配置的要素2.1 认证2.1.1 SSL 安全协议2.1.2 SASL 验证机制2.2 授权2.2.1 ACL 权限控制2.2.2 RBAC 权限管理2.3 加密2.3.1 数据传输加密2.3.2 数据存储加密三、安全性配置实践3.1 通用实践3.1.1 安全相关配置集中管理3.1.2 支持动态安全配置更新3.1.3 数据与应用分离3.2
kafka 8.1.1 java_Kafka学习笔记-Java简单操作
weixin_35888603的博客
02-26 91
importjava.nio.ByteBuffer;importjava.util.ArrayList;importjava.util.Collections;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importkafka.api.FetchRequest;importkafka.api.Fe...
Kafka的监听地址配置
q1472750149的博客
01-23 7282
本文就用Kafka 2.8. 有时我们会碰到网络是通畅的，但却连不上Kafka，特别是在多网卡环境或者云环境上很容易出现。这个其实和Kafka的监听配置有关系。本文介绍监听相关的配置。目前监听相关的参数主要有下面几个： listeners advertised.listeners listener.security.protocol.map inter.broker.listener.name security.inter.broker.protocol advertised.host.nam
Kafka旧版消费者API示例（低级消费者）
Simon的博客
11-05 1586
Kafka旧版高级消费者API强依赖ZK，目前高版本kafka已将offset移交内部主题，若高版本可选用新版API。 实现低级API变成实现的主要步骤： 获取指定主题相应分区对应的元数据信息 找出指定分区的Leader副本节点，创建SimpleConsumer，建立与Leader副本的连接 构造消费请求 获取数据并处理 对偏移量进行处理 ...
kafka问题: Error reading field 'topics'
u010050904的专栏
02-23 9508
kafka调用的时候出现：org.apache.kafka.common.protocol.types.SchemaException: Error reading field ‘topics’出现这种情况 ，很有可能是 client版本和sever版本不一样
Python操作Kafka：confluent-kafka模块详解与使用
文档还提到了confluent-kafka客户端API的一些基本使用，如`confluent_kafka.Consumer`，这个类用于创建消费者实例，并可以通过`Consumer.assign(partitions)`来指定消费者要消费的分区。 这篇教程为开发者提供了...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值