Kafka
文章平均质量分 96
Wuv1Up
这个作者很懒,什么都没留下…
展开
-
Kafka-消费,Offset手动提交,指定offset消费,指定分区消费
Consumer - 消费者文章目录Consumer - 消费者原创 2019-05-05 17:34:46 · 19432 阅读 · 0 评论 -
Kafka发送消息过长详解
Kafka发送消息大小问题⚠️ 本文实验的Kafka版本为2.11版本.消息概述kafka中的消息指的就是一条ProducerRecord,里面除了携带发送的数据之外,还包含:topic 发往的Topicpartition 发往的分区headers 头信息key 数据value 数据timestamp-long 时间戳Producer生产消息过长在生产者发送消息的时候,并...原创 2019-05-19 00:22:00 · 7494 阅读 · 0 评论 -
Kafka消息序列化
Kafka消息序列化文章目录Kafka消息序列化概括Kafka中序列化自定义序列化器用第三方jar包实现自定义序列化总结阅读文章,希望能解决以下问题:序列化主要解决的问题不同的序列化对消息大小的影响可以用序列化来解决消息太大的问题吗概括序列化主要是用来解决数据在网络中传输的问题. 在网络中传输的数据必须全是字节,也称为字节流. 而文本数据到字节数据的这一步就是序列化(将非字节数据...原创 2019-05-20 18:04:19 · 889 阅读 · 0 评论 -
Kafka压缩详解
Kafka压缩文章目录Kafka压缩概括Kafka存储格式消息比较用可视化的方式分析结论概括需要理解kafka压缩则需要理解Kafka的存储格式.Kafka存储格式RecordBatchbaseOffset: int64batchLength: int32partitionLeaderEpoch: int32magic: int8 (current magic value is ...原创 2019-05-21 18:13:45 · 2440 阅读 · 1 评论 -
Kafka生产者保证数据可靠传输
Kafka是众多MQ(Message Queue)中的一种,MQ普遍都会面临消息丢失的问题,造成消息丢失的原因有很多种,例如:生产者将消息发送,但是不确保消息到达MQ中MQ接收到消息,但是消息丢失了…本文实验采用的Kafka是kafka_2.11-1.1.1版本Kafka发送消息模型考虑有一个Topic,只有一个分区(num.partitions=1),副本因子是2(replica...原创 2019-05-16 23:14:13 · 960 阅读 · 0 评论