![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 69
不加班程序员
小白一枚
展开
-
flink消费kafka时获取元数据信息
flink消费kafka信息获取数据的元数据原创 2024-06-13 15:07:57 · 456 阅读 · 1 评论 -
flume案例
在构建数仓时,经常会用到flume接收日志数据,通常涉及到的组件为kafka,hdfs等。下面以一个flume接收指定topic数据,并存入hdfs的案例,大致了解下flume相关使用规则。原创 2024-01-22 15:18:21 · 1234 阅读 · 0 评论 -
Flink之Source
Flink 可以从各种来源获取数据,然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源,而读取数据的算子就是源算子(Source)。所以,Source 就是我们整个处理程序的输入端。原创 2023-03-10 17:59:06 · 1114 阅读 · 0 评论 -
通过Spark向Kafka写入数据
1、·将KafkaProducer利用lazy val的方式进行包装package cn.com.m.utilimport java.util.concurrent.Futureimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord, RecordMetadata}class KafkaSink[K, V](createProducer: () => KafkaProducer[K, V]) ext原创 2020-11-09 13:59:19 · 2476 阅读 · 0 评论 -
Kafka架构总结以及常见的面试题总结
kafka名词说明分布式 高吞吐量 消息系统producer:生产者consumer:消费者broker:机器,节点controller:kafka服务器的主节点 负责管理元数据(zk存储一份)follower:kafka服务器的从节点 (同步元数据)topic:主题。类似于关系型数据库中的表partition:一个主题可以有多个分区replica:副本,为了保证数据安全,每个partition可以设置多个副本(leader replica和slave replica)原创 2020-06-26 16:56:58 · 550 阅读 · 1 评论 -
十五个点,理解Apache Kafka
一、介绍Kafka在世界享有盛名,大部分互联网公司都在使用它,那么它到底是什么呢? Kafka由LinkedIn公司于2011年推出,自那时起功能逐步迭代,目前演变成一个完整的平台级产品,它允许您冗余地存储巨大的数据量,拥有一个具有巨大吞吐量(数百万/秒)的消息总线,并且支持实时流任务处理。总的来说,Kafka是一个分布式,可水平扩展,容错的日志提交系统这些...转载 2020-03-04 17:02:33 · 336 阅读 · 1 评论 -
kafka架构与原理
1、简介它可以让你发布和订阅记录流。在这方面,它类似于一个消息队列或企业消息系统。它可以让你持久化收到的记录流,从而具有容错能力。首先,明确几个概念:• Kafka运行在一个或多个服务器上。• Kafka集群分类存储的记录流被称为主题(Topics)。• 每个消息记录包含一个键,一个值和时间戳。Kafka有四个核心API:• 生产者 API 允许应用程序发布记录流至一个或多个Kaf...转载 2020-03-04 16:51:55 · 332 阅读 · 0 评论