Flink Doirs Connector 常见问题：Doris目前不支持流读

已于 2024-07-27 20:23:06 修改
阅读量58 收藏
点赞数
文章标签： flink 大数据
于 2024-07-27 20:22:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63628018/article/details/140740543
版权

常见问题

  1. Doris Source 在数据读取完成后，流为什么就结束了？

目前 Doris Source 是有界流，不支持 CDC 方式读取。

问题：对于 Flink Doris DataStream，Flink 想要在 流式读取 Doirs / 实时读 Doris，目前读取完全表后 Flink 程序会结束运行

原因：Doris 目前无法像 Mysql 那样提供 binlog 日志，无法实时监控读 Doris。

参考：Flink Doris Connector - Apache Doris

SunTecTec
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
实时数仓之实时数仓架构(Doris)
道可道非常道
03-21 1592
数据装载由Flink驱动，通过对ODS流进行Join、聚合和转行操作、以及对外部表以Lookup Join方式清洗数据(切记不能过分冗余维度数据，底层对数据做分离是核心设计思想，冗余越是过分、维护成本越高)，明细结果kafka保留一份，并将结果模型数据同步Doris持久保存，以便数据应用引用，Doris数据根据业务情况可以选择基于离线数据回刷昨日数据方案修复数据。从离线数仓同步维表，这类维表实时加工成本太高，且变化不大，可以承担部分不一致性，那么可以采用昨日离线数据同步到redis供etl使用；
doris-flink-connector
03-25
官网没有提供下载编译好的 connector ，需要自己编译，我将编译好的上传，供大家下载。 flink 版本1.13.5； <scala.version>2.12 <flink.version>1.13.5</flink.version> <libthrift.version>0.13.0 ...
Apache Doris 系列： 基础篇-Flink SQL写入Doris
修破立生
09-22 4167
本文介绍 Flink SQL如何流式写入 Apache Doris
flink-doris-connector-xx.x.x-SNAPSHOT.jar下载
AnameJL的博客
02-22 468
flink-doirs-connector
Flink 使用 SQL 读取 Kafka 写入到Doris表中
锋哥聊DORIS数仓
09-26 2184
这次我们演示的是整合Flink Doris Connector 到 Flink 里使用，通过Flink Kafka Connector，通过SQL的方式流式实时消费Kafka数据，利用Doris Flink Connector将数据插入到Doris表中。 这里的演示我们是用过Flink SQL Client来进行的， 1. 准备条件 这里我们使用的环境是 Doris-0.14.7 doris-flink-1.0-SNAPSHOT.jar，这个可以自己去编译 Flink-1.12.5 flink
Dinky FlinkSQL Doris读取写入
SunTecTec
05-31 391
【代码】Dinky FlinkSQL Doris读取写入。
Apache Doris 生态扩展及优化：Spark Doris Connector；Flink Doris Connector；DataX DorisWriter数据同步；JDBC Catalog
学亮编程手记
02-12 1478
无论是DataStream API 还是SQL API 读取Doris中数据时，目前仅支持批读取。Flink向Doris中写入数据时底层会转换成Stream Load方式向Doris加载数据，这种速度快，每次执行代码都会生成一个Stream Load对应的Label ,在代码中或者SQL Connector中可以指定，建议加上UUID随机生成。否则每次执行代码前还需执行clean label from db 来清除对应Doris 库中的Label。
Flink读写Doris操作介绍
wt334502157的博客
05-15 8144
​ Flink Doris Connector 可以支持通过 Flink 操作（读取、插入、修改、删除） Doris 中存储的数据。可以将 Doris 表映射为 DataStream 或者 Table。
HDP3.3.2.0-002实践试范（22）构建实时湖仓一体的联邦查询 flink&cdc + iceberg + doris
mojiezhongbb的博客
11-09 584
本文目的：为HDP 3.3.2.0的推广，接个力 Doris + FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
FlinkCDC将MySQL接入Doris实战
wangleigiser的博客
09-05 4239
FlinkCDC将MySQL接入Doris MySQL安装 Doris安装 Scala环境安装 Flink 环境安装 通过Flink CDC将MySQL数据同步到Doirs任务编写 1. 《图解Spark 大数据快速分析实战（异步图书出品）》 2. 《Offer来了：Java面试核心知识点精讲（第2版）(博文视点出品)》 3. 《Offer来了：Java面试核心知识点精讲（原理篇）(博文视点出品)》 4. 《Offer来了：Java面试核心知识点精讲（框架篇）(博文视点出品)》
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
apache-doris-flink-connector-1.12_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.12_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.12 Scala Version：2.12 Apache Doris是一个现代MPP...
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
Flink-CDC解析（第47天）
最新发布
syhiiu的博客
07-27 1649
本文主要概述了Flink-CDC
Flink笔记整理（三）
LUyan10086的博客
07-22 876
DataStream API是Flink的核心层API，一个Flink程序，其实本质就是对DataStream的各种转换。创建执行环境 设置执行模式 触发执行 Flink是由事件驱动的，只有等到数据到来，才会触发真正的计算，这也被称为“延迟执行”或“懒执行”。 5.2 Source Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源（data source），而读取数据的算子就是源算子（source operator）。所以，source就是整个处理程
Apache Flink窗口详解
喻师傅的学习笔记
07-23 1188
Apache Flink 的核心功能之一是窗口处理，它允许开发人员以基于时间或基于计数的方式分组和处理数据流。窗口技术是一种根据某些标准将数据流划分为有限块（称为窗口）的技术。窗口（Window）是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理。例如，您可以根据时间间隔（每 5 分钟）、事件计数（每 100 个事件）或会话边界（不活动间隙）定义窗口。在每个窗口内，您可以对数据进行各种操作，如聚合（总和、平均、计数）、转换（映射、过滤、连接）或复杂的业务逻辑。
分布式系统常见软件架构模式
Ben的专栏
07-25 943
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
flink kafka connector
04-28
Flink Kafka Connector是Flink的一个扩展库，用于实现Flink与Kafka之间的高效数据传输和交互。它提供了多种与Kafka交互的方式，如消费和生产Kafka数据，以及与Kafka进行状态管理等。Flink Kafka Connector通过实现Kafka Consumer和Producer的接口，使得可以在Flink应用程序中直接使用Kafka数据源和数据汇，实现快速、可靠的数据流传输。 Flink Kafka Connector能够解决许多实际场景中的数据传输问题。例如，在流处理中，经常需要从Kafka主题中读取数据，并将结果写入到一个或多个Kafka主题中。Flink Kafka Connector正是用于这样的场景，可以通过多种方式实现简单又高效的数据传输。另外，Flink Kafka Connector还可以管理Kafka的状态，如offset，以保证正确、可靠的数据传输。 总之，Flink Kafka Connector使得将Flink和Kafka集成变得更加容易和高效。它不仅支持在Flink应用程序中消费和生产Kafka数据，还支持状态管理，从而增强了Flink和Kafka之间的互操作性和可扩展性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunTecTec

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值