Apache Kafka 是一个开放源代码的分布式事件流平台,实现高性能数据管道,流分析,数据集成和关键应用程序。
核心能力: 使用延迟低至2ms的计算机集群以网络受限的吞吐量传递消息。
可扩展: 一千个经纪人,每天数以万亿条消息
数PB的数据以及数十万个分区,弹性扩展和收缩存储和处理,持久,容错的集群中
高可用性: 扩展集群,在地理区域之间连接单独的集群
内置流处理: 使用事件事件和精确一次的 处理来处理具有连接,聚集,过滤器,转换等事件的事件流
几乎连接任何东西: kafka的现成的Connect借口与
数百个事件源和事件接收器集成在一起,包括
Postgres,JMS,Eisticsearch,AWS S3等
客户图书管:使用多种编程语言读取,写入和处理事件流
开源:
listeners 就是主要用来定义KAFKA Broker的
Listener的配置项
advertised.listeners
advertised.listeners 参数的作用就是将
Broker的Listener信息发布到Zookeeper中
broker.id = 0
每一个broker在集群重的唯一表示,要求是正数,当该服务的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况
log.dirs=/data/kafka-logs
kafka数据的存放位置,多个地址的话用逗号分割,多个目录分布再不同磁盘上可以提高读写