Kafka学习笔记：Kafka的概念与功能

Kafka的概念与功能

Kafka设计目标

1.高吞吐率：在廉价的商用机器上单机可支持每秒100万条消息的读写
2.消息持久化：所有消息均被持久化到磁盘，无消息丢失，支持消息重放
3.完全分布式：Producer、Broker、Consumer均支持水平扩展
4.同时适应在线流处理和离线批处理

Kafka一般会单独部署集群，用来做日志（如点击数据，访问记录，Nginx日志..）传输，但不能在数据不能丢失的场景下使用，大概会有3-5台服务器组成集群，同时因为Kafka将数据放在内存里，所以对内存大小的要求会比较高，同时硬盘要SAS以上的。

Kafka与其他同类对比

	ActiveMQ	RabbitMQ	Kafka
所属社区/公司	Apache	Mozilla Public License	Apache/LinkedIn
开发语言	Java	Erlang	Java/Scala
支持的协议	OpenWire、STOMP、REST、XMPP、AMQP	AMQP	仿AMQP
事务	支持	不支持	不支持
集群	支持	支持	支持
负载均衡	支持	支持	支持
动态扩容	不支持	不支持	支持(zookeeper)

ActiveMQ和RabbitMQ更多的是作为消息队列（即各进程之间通信所传输的就叫消息），Kafka更多的是日志传输。

Kafka工作流程

前端程序（Producer）将数据push到Kafka，注意，Kafka不会主动的去拉取数据，Zookeeper主要保存的是数据的元数据，比如分区的数据。Kafka提供partition进行灾备，通过partition提供高并发的负载写入。接收到的数据就可以提供给后端的程序（Consumer）来做处理。