Kafka
要了解kafka首先要了解消息队列(消息队列:Message Queue)
消息队列:消息传输过程中的容器,主要提供生产/消费接口供外部调用做数据的存储和获取
消息队列(简称MQ)主要分两类
点对点(p2p):类似打电话
发布订阅(Pub/Sub):类似微博
而kafka就是一个分布式/高吞吐/持久性的发布订阅消息系统。
Kafka组件:
Topic:主题
Broker:消息代理
Partition:topic物理上的分组
Massage:消息,是通信的基本单位,每个消息都属于一个partition
Kafka服务相关
Producer:消息和数据的产生者,向kafka的一个tioic发布消息
Consumer:消息和数据的消费者,定于topic并处理其发布消息
Zookeeper:协调kafka的正常运行
总结:
Kafka是一种发布订阅的消息队列,基础的kafka环境承载并发就可以百万。对于hadoop的日志数据和离线分析系统,但又要求实时处理。Kafka是一种解决方案
Kafka的目的是通过hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
消息队列参考网址:https://www.cnblogs.com/linjiqin/p/5720865.html
Kafka简介参考网址:http://blog.51cto.com/xpleaf/2090847