Kafka亿万级流量并发演进之路：可靠性+事务+消息中间件+源码+日志

前言

Kafka起初是由LinkedIn公司采用Scala语言开发的-一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

目前越来越多的开源分布式处理系统如Cloudera、Storm、 Spark、 Flink等都支持与Kafka集成。

Kafka之所以受到越来越多的青睐，与它所“扮演”的三大角色是分不开的：

消息系统： Kafka 和传统的消息系统( 也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。

存储系统： Kafka 把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险。也正是得益于Kafka的消息持久化功能和多副本机制，我们可以把Kafka作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。

流式处理平台：Kafka不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。

需要这份（实战讲解核心篇）的朋友转发关注后，添加助理vx：yunduoa2019或扫描下图二维码，跟随助理指引自行获取

初识Kafka

1. 基本概念
2. 安装与配置
3. 生产与消费
4. 服务端参数配置

 

生产者

客户端开发

1. 必要的参数配置
2. 消息的发送
3. 序列化
4. 分区器
5. 生产者拦截器

原理分析

整体架构

元数据的更新

重要的生产者参数</