aw9165628的博客

Kafka存储机制和分区策略以及数据可靠性保证1、存储机制1.1 Kafka工作流程Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。 topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，.

Kafka在消费者反序列化时出现问题问题描述今天在启动Kafka时，出现了一些问题。Kafka启动后，卡在了某一消费点，报Missing exception handling for deserialization of key values，提示缺少对键值反序列的异常处理，并且系统一直重复反序列化该调记录，一直失败，陷入死循环。上网查询解决办法发现这种现象是当生产者序列化程序和消费者反序列化程序不兼容时产生的一种毒丸场景。在以下场景可能会发生毒丸现象： 生产者更改了键或值序列化器，并

Kakfa入门与使用1、Kafka介绍1.1 Kafka的概念Kafka是一个分布式流处理平台具有以下三个特性： 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。 1.2 Kafka的应用场景 构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应用程序，对这些流数据进行转换或者影响。 (就是

在springboot中使用Kafka文章目录在springboot中使用Kafka前言一、Kafka是什么？二、使用步骤1.引入依赖2.编写配置文件2.生产者代码3.消费者代码4.测试总结前言随着大数据的发展，Kafka变得愈发重要，本文主要介绍Kafka在Springboot中的使用一、Kafka是什么？Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这