大数据第16次课笔记

Kafka的消息队列模式（点对点模式）：生产者将消息放入消息队列，消费者通过线程监控有自己的消息，主动从
消息队列中取出。
Kafka的消息队列模式（发布订阅模式）：生产者将消息放入消息队列，队列会将消息推送给订阅消息的消费者。
Kafka:是一个高吞吐量的分布式发布订阅消息系统，可以处理用户在网站中的所有动作流数据。
Kafka的优点：
可靠性：是一个分布式，分区，可复制，容错
可拓展性：系统轻松缩放，无需停机
耐用性：分布式提交日志，消息持久保存在磁盘上
性能快：对于发布和订阅消息具有高吞吐量，保证0停机和0数据丢失
Kafka的应用场景：消息系统，网络活动跟踪，日志聚合
创建生产者：
bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic test
创建消费者：
bin/kafka-console-consumer.sh --zookeeper hadoop03:2181 --topic test --from-beginning

bin/kafka-topics.sh --list --zookeeper hadoop01:2181

查看kafka未消费的消息
bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092,hadoop03:9092 --topic logstash-busi-2 --from-beginning
查看消费过度的消息：
bin/kafka-consumer-groups.sh--bootstrap-server hadoop04:9092,hadoop05:9092 --describe -- group terminalMonitor