Kafka的消息队列模式(点对点模式):生产者将消息放入消息队列,消费者通过线程监控有自己的消息,主动从
消息队列中取出。
Kafka的消息队列模式(发布订阅模式):生产者将消息放入消息队列,队列会将消息推送给订阅消息的消费者。
Kafka:是一个高吞吐量的分布式发布订阅消息系统,可以处理用户在网站中的所有动作流数据。
Kafka的优点:
可靠性:是一个分布式,分区,可复制,容错
可拓展性:系统轻松缩放,无需停机
耐用性:分布式提交日志,消息持久保存在磁盘上
性能快:对于发布和订阅消息具有高吞吐量,保证0停机和0数据丢失
Kafka的应用场景:消息系统,网络活动跟踪,日志聚合
创建生产者:
bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic test
创建消费者:
bin/kafka-console-consumer.sh --zookeeper hadoop03:2181 --topic test --from-beginning
bin/kafka-topics.sh --list --zookeeper hadoop01:2181
查看kafka未消费的消息
bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092,hadoop03:9092 --topic logstash-busi-2 --from-beginning
查看消费过度的消息:
bin/kafka-consumer-groups.sh--bootstrap-server hadoop04:9092,hadoop05:9092 --describe -- group terminalMonitor