kafka了解-笔记

kafka快速上手

Kafka介绍

MQ的作用
MQ：MessageQueue，消息队列，是一种FIFO先进先出的数据结构，消息则是跨进程传递的数据。一个典型的MQ系统，会将消息由消息的生产者发送到MQ进行排队，然后根据一定的顺序交由消息的消费者进行处理。
MQ的作用主要有下面3个方面：
异步：异步能够提高系统的响应速度、吞吐量
解耦：1.服务之间进行解耦，才可以减少服务之间的影响，提高系统整体的稳定性及可扩展性。2.另外解耦后可以实现数据分发。生产者发送一个消息后，可以由一个或者多个消费者进行消费，并且消费者的增加或者减少对生产者没有影响
削峰：以稳定的系统资源应对突发的流量冲击
Kafka产品介绍
Kafka是目前最具有影响力的开源MQ产品，官网地址：https://kafka.apache.org/
apache Kafka最初由linkelin开发并于2011年开源，他主要解决大规模数据的实时流式处理和数据管道问题。
Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者种。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据中心之前分布式部署，以提供高可用性和容错性。
Kafka使用高效的数据存储和技术管理，能够轻松地处理TB级别的数据量。其优点包括高吞吐量、低延迟、可扩展性、持久性、容错性等。
Kafka在企业级应用种被广泛应用，包括实时流处理、日志聚合、监控和数据分析等方面。同时Kafka还可以与其他大数据工具集成，如Hadoop、Spark和Storm等，构建一个完整的数据处理生态系统。
Kafka特点
Kafka最初诞生于LinkedIn公司，其核心作用就是用来收集并处理庞大复杂的应用日志。一个典型的日志聚合应用场景如下：

业务场景决定了产品的特点：
1.数据吞吐量很大：需要能够快速收集海量日志
2.集群容错性高：允许集群中少量节点崩溃
3.功能不用太复杂：Kafka的设计目标是高吞吐、低延迟和可扩展，主要关注消息传递而不是消息处理。Kafka并没有支持死信队列、顺序消息等高级功能
4.允许少量数据丢失：在海量的应用日志中，少量的日志丢失是不会影响结果的。服务的稳定性要求比数据安全高

Kafka快速上手

Kafka基础工作机制是消费发送者可以将消息发送到指定的topic，而消费消费者，可以从指定的topic上消费消息。
实际操作：1.创建一个topic；2.启动一个消息发送者，往topic发送消息；3.启动消息消费者从topic消费消息

Kafka的消费传递机制

Kafka体系，以下概念需要知道
客户端client：包括消息生产者和消息消费者
消费者组：每个消费者可以指定一个所属的消费者组，相同消