kafka

1. 产品的整体介绍

（1）一个分布式流媒体平台
（2）在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能
（3）构建实时的流数据处理程序来变换或处理数据流，数据处理功能
（4）Kafka性能超过ActiveMQ等传统MQ工具，集群扩展性好。

弊端是：
（1）在传输过程中可能会出现消息重复的情况，
（2）不保证发送顺序
（3）一些传统MQ的功能没有，比如消息的事务功能。所以通常用Kafka处理大数据日志。

2.产品的特性及实现原理

特性：
1.高吞吐量、低延迟
kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。

2.可扩展性
kafka集群支持热扩展

3.持久性、可靠性
消息被持久化到本地磁盘，并且支持数据备份防止数据丢失

4.容错性
允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）

5.高并
支持数千个客户端同时读写

实现原理：
举例介绍：https://zhuanlan.zhihu.com/p/68052232?utm_source=wechat_session

1. 发布订阅记录流，和消息队列或者企业新消息系统类似。
2. 以可容错、持久的方式保存记录流
3. 当记录流产生时就进行处理

3.具体的应用场景

1.日志收集
一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。

2.消息系统
解耦和生产者和消费者、缓存消息等。

3.用户活动跟踪
Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop、数据仓库中做离线分析和挖掘。

4.运营指标
Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。

5.流式处理
比如spark streaming和storm

4.产品的相关术语

消息中间件处理节点（Broker），一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群
话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名；

生产者（Producer）：是能够发布消息到话题的任何对象；

服务代理（Broker）：已发布的消息保存在一组服务器中，它们被称为代理（Broker）或Kafka集群；

消费者（Consumer）：可以订阅一个或多个话题，并从Broker拉数据，从而消费这些已发布的消息；

ConsumerGroup：每个Consumer属于一个特定的Consumer Group，一条消息可以发送到多个不同的Consumer Group，但是一个Consumer
Group中只能有一个Consumer能够消费该消息

Partition：物理上的概念，一个topic可以分为多个partition，每个partition内部是有序的