Kafka入门

一.什么是Kafka

　　　　Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Kafka专为分布式高吞吐量系统而设计。 Kafka往往工作得很好，作为一个更传统的消息代理的替代品。 与其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。

二.Kafka特性

　　　　1.高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作；                                                                                                                                                             2.可扩展性：kafka集群支持热扩展；
　　　　3.持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失；
　　　　4.容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）；
　　　　5.高并发：支持数千个客户端同时读写。

三.相关概念
　　　　1.Broker：Kafka集群包含一个或多个服务器，这种服务器被称为broker；
　　　　2.Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）；
　　　　3.Partition：Partition是物理上的概念，每个Topic包含一个或多个Partition.；
　　　　4.Producer：负责发布消息到Kafka broker；
　　　　5.Consumer：消息消费者，向Kafka broker读取消息的客户端。
　　　　6.Consumer Group：每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。

三.使用场景
　　　　日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。
　　　　消息系统：解耦和生产者和消费者、缓存消息等。
　　　　用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop、数据仓库中做离线分      析和挖掘
　　　　运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。
　　　　数据存储。

四.发布 - 订阅消息的工作流程

• 生产者定期向主题发送消息。

• Kafka代理存储为该特定主题配置的分区中的所有消息。 它确保消息在分区之间平等共享。 如果生产者发送两个消息并且有两个分区，Kafka将在第一分区中存储一个消息，在第二分区中存储第二消息。

• 消费者订阅特定主题。

• 一旦消费者订阅主题，Kafka将向消费者提供主题的当前偏移，并且还将偏移保存在Zookeeper系综中。

• 消费者将定期请求Kafka(如100 Ms)新消息。

• 一旦Kafka收到来自生产者的消息，它将这些消息转发给消费者。

• 消费者将收到消息并进行处理。

• 一旦消息被处理，消费者将向Kafka代理发送确认。

• 一旦Kafka收到确认，它将偏移更改为新值，并在Zookeeper中更新它。 由于偏移在Zookeeper中维护，消费者可以正确地读取下一封邮件，即使在服务器暴力期间。

• 以上流程将重复，直到消费者停止请求。

• 消费者可以随时回退/跳到所需的主题偏移量，并阅读所有后续消息。
  
  相比传统的消息系统，Kafka可以很好的保证有序性。
  传统的队列在服务器上保存有序的消息，如果多个consumers同时从这个服务器消费消息，服务器就会以消息存储的顺序向consumer分发消息。虽然服务器按顺序发布消息，但是消息是被异步的分发到各consumer上，所以当消息到达时可能已经失去了原来的顺序，这意味着并发消费将导致顺序错乱。为了避免故障，这样的消息系统通常使用“专用consumer”的概念，其实就是只允许一个消费者消费消息，当然这就意味着失去了并发性。
  在这方面Kafka做的更好，通过分区的概念，Kafka可以在多个consumer组并发的情况下提供较好的有序性和负载均衡。将每个分区分只分发给一个consumer组，这样一个分区就只被这个组的一个consumer消费，就可以顺序的消费这个分区的消息。因为有多个分区，依然可以在多个consumer组之间进行负载均衡。注意consumer组的数量不能多于分区的数量，也就是有多少分区就允许多少并发消费。
  Kafka只能保证一个分区之内消息的有序性，在不同的分区之间是不可以的，这已经可以满足大部分应用的需求。如果需要topic中所有消息的有序性，那就只能让这个topic只有一个分区，当然也就只有一个consumer组消费它。

 

五.实战
　　理论都是浮云，如需确切了解还需自己实际操作，尽快找到项目自己上手。

 

 

 

转载于:https://www.cnblogs.com/zxfjava/p/9185610.html