Apache Kafka
文章平均质量分 57
kafka学习,问题记录
Mathieu66
Apache Hudi Commiter
展开
-
在控制台从指定时间戳消费kafka
在控制台从指定时间戳消费kafka原创 2022-10-18 16:10:35 · 1781 阅读 · 0 评论 -
Confluent 源码学习 - SinkTask
SinkTask 的源码实际位于Kafka项目中,主要用在 Kafka Connect 模块,它是一个接收 Kafka 数据,输出到外部系统的 Task 抽象类。其父类 Task 是个接口,只有三个方法:public interface Task { /** * Get the version of this task. Usually this should be the same as the corresponding {@link Connector} class's ver原创 2021-09-28 15:57:54 · 422 阅读 · 0 评论 -
Structured Streaming集成Kafka《官方文档翻译》
目录1. 链接2. 从Kafka读数据2.1 从流查询创建Kafka数据源2.2 从批查询Kafka数据源(spark.readStream变成了spark.read)3. 向Kafka写数据3.1 创建流查询Kafka Sink3.2 创建批查询Kafka Sink4 Kafka 特有参数配置1. 链接groupId = org.apache.spark...原创 2018-11-14 20:41:38 · 2396 阅读 · 0 评论 -
Kafka基本操作
命令行记不住,在这里记录一下。1.启动kafka(需先启动zookeeper)bin/kafka-server-start.sh config/server.properties2.创建topic[maxiu@zhumei00 kafka_2.11-2.1.1]$ bin/kafka-topics.sh --create --zookeeper zhumei00:2181 --...原创 2019-03-18 14:20:04 · 277 阅读 · 0 评论 -
《Flink 使用 JDBCAppendTableSink 操作 Mysql入门示例》 Java版
前面写了个Flink操作Mysql的示例,Scala版本的,不过是对照源码的翻译。这两天使用Java开发(boss说不要用scala),这里贴一下使用方法。超简单的,大家注意看下代码。mysql相关的依赖(kafka的自行添加) <dependency> <groupId>org.apache.flink</groupI...原创 2019-04-02 17:07:55 · 3722 阅读 · 0 评论