ELK日志中心集群之——kafka简介与配置

ELK日志中心集群之——kafka简介和配置

kafka介绍

kafka是Apache基金会的开源项目，是一个分布式的消息发布-订阅系统，他的特性有：

• 吞吐量高，时延低：kafka每秒可以处理几十万条数据，延迟最低只有几毫秒。
• 可扩展性：kafka支持热扩展。
• 可靠性：消息被持久化到本地磁盘，支持数据备份。
• 容错性：允许集群中其他节点失败。
• 抗高并发：支持数千个客户端同时读写。
  
  
  kafka组件介绍
• topic：特定类型的消息流。消息是字节的有效负载（Payload），topic是消息的分类名，kafka是面向topi的。
• producer：生产者，产生消息数据的服务器。
• broker：保存已发布的消息数据的一组服务器。
• consumer：消费者，订阅（查看，消费）topic，从broker中拉取数据。
• partition：区，每个topic包含一个或多个partition。
• consumer group：每个consumer都属于一个group，但同一条消息只能被一个每个group中的一个consumer消费，可以同时被多个group消费。
• replication：partition的副本，保证kafka的高可用。
  
  
  

kafka配置

1.安装jdk，略。

2.在apache官网获取kafka包，解压到/usr/local/

kafka是基于zookeeeper的，所以要先配置zookeeper，zookeeper包已经包含在kafka包中，无需另外下载。

3.重写zookee