Kafka
文章平均质量分 88
爱学习的老冰棍
一杯数据入喉,自此编程别回头
展开
-
flume-kafka数据采集
flume-kafka数据采集概述数据生产阶段(采集日志到kafka)数据消费阶段(消费kafka中的数据,并将其存储到hdfs) 概述 今天来给大家展示一下,日常数据收集中,我们flume和kafka是如何协同工作的。 我们先来看一下整体集群情况。 hadoop102 hadoop103 hadoop104 zk zk zk namenode resourcemanager secondarynamenode datanode datanode datanode kafka原创 2020-10-01 21:03:01 · 1236 阅读 · 0 评论 -
大数据之Kafka(二)
大数据之Kafka(二)3. Kafka架构深入3.1 Kafka 工作流程及文件存储机制3.2 Kafak生产者3.2.1 分区策略3.2.2 数据可靠性保证3.2.3 Exactly Once语义3.3 Kafka消费者3.3.1 消费方式3.3.2 分区分配策略3.3.3 offset的维护不排除内部的topic3.3.4 消费者组案例3.4 Kafka 高效读写数据3.5 Zookeeper在Kafka中的作用3.6 Kafka事务3.6.1 Producer 事务3.6.2 Consumer事务(原创 2020-09-28 19:28:03 · 1468 阅读 · 0 评论 -
大数据之Kafka
大数据之Kafka1 . Kafka概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式1.3 Kafka 基础架构2 Kafka 快速入门2.1 集群规划2.1.2 Kafka 下载2.1.3 集群部署2.2 Kafka 命令行操作3 Kafka 架构深入3.1 Kafka工作流程及文件存储机制 1 . Kafka概述 1.1 定义 Kafka是一个分布式的基于分布、订阅模式的消息队列,主要应用于大数据实时处理领域。 至于什么是消息队列和分布、订阅模式,待会给原创 2020-09-26 16:18:12 · 299 阅读 · 0 评论