本文介绍了Kafka的特性和应用场景，包括日志收集、消息系统、用户活动跟踪和运营指标等。深入讲解了Kafka的架构组件，如broker、topic、partition、offset等，以及producer、consumer、consumer group的工作原理。接着详细阐述了如何搭建Kafka集群，包括zookeeper的安装配置和Kafka的安装启动。最后，提到了Kafka常用命令以及启动时遇到的错误和解决方法。
一、kafka简介
Kafka最初由Linkedin公司开发，是一个分布式的、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常用于web/nginx日志、访问日志、消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
二、kafka的特性
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒；
可扩展性：kafka集群支持热扩展；
持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止丢失；
容错性：允许集群中的节点失败(若副本数量为n,则允许n-1个节点失败)；
高并发：单机可支持数千个客户端同时读写；
三、kafka的应用场景
日志收集：一个公司可以用Kafka收集各种服务的log，通过kafka以统一接口开放给各种消费端，例如hadoop、Hbase、Solr等。
消息系统：解耦生产者和消费者、缓存消息等。
用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索记录、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop、数据仓库中做离线分析和挖掘。
运营指标：Kafka也经常用来记录运营监控数据。
流式处理
四、kafka架构
kafka架构中包含四大组件：生产者、消费者、kafka集群、zookeeper集群
对照上面的结构图，我们先来搞清楚几个很重要的术语：
1、broker
kafka 集群包含一个或多个服务器，每个服务器节点称为一个broker。
2、topic
每条发布到kafka集群的消息都有一个类别，这个类别称为topic，其实就是将消息按照topic来分类，topic是逻辑上的分类，同一个topic的数据既可以在同一个broker上也可以在不同的broker结点上。
3、partition
分区，每个topic被物理划分为一个或多个分区，每个分区在物理上对应一个文件夹，该文件夹里面存储了这个分区的所有消息和索引文件。在创建topic时可指定parition数量，生产者将消息发送到topic时，消息会根据 分区策略 追加到分区文件的末尾，属于顺序写磁盘，因此效率非常高（经验证，顺序写磁盘效率比随机写内存还要高，这是Kafka高吞吐率的一个很重要的保证）。
上面提到了分区策略，所谓分区策略就是决定生产者将消息发送到哪个分区的算法。Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。kafka允许为每条消息设置一个key，一旦消息被定义了 Key，那么就可以保证同一个 Key 的所有消息都进入到相同的分区，这种策略属于自定义策略的一种，被称作"按消息key保存策略"，或Key-ordering 策略。
同一topic的多个分区可以部署在多个机器上，以此来实现 kafka 的伸缩性。同一p
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
