Doris 数据导入三：Routine Load 方式

最新推荐文章于 2024-09-24 14:23:02 发布
最新推荐文章于 2024-09-24 14:23:02 发布
阅读量336 收藏
点赞数
分类专栏： Doris 文章标签： 大数据 数据仓库 doris sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134735756
版权
Doris 专栏收录该内容
22 篇文章 6 订阅 ¥19.90 ¥99.00
订阅专栏
本文详细介绍了Doris的Routine Load功能，特别关注从Kafka进行例行导入数据的场景。支持无认证和SSL认证的Kafka，以及csv和json格式消息。Routine Load通过不断生成新Task实现数据不间断导入，支持APPEND、DELETE、MERGE等合并类型。创建和管理例行导入作业涉及到的基本语法、参数设置、作业控制等方面进行了深入阐述。
摘要由CSDN通过智能技术生成

例行导入（Routine Load）功能为用户提供了一种自动从指定数据源进行数据导入的功能。

1 适用场景

当前仅支持从Kafka系统进行例行导入，使用限制：

（1）支持无认证的Kafka访问，以及通过SSL方式认证的Kafka集群。

（2）支持的消息格式为 csv, json 文本格式。csv 每一个 message 为一行，且行尾不包含换行符。

了解本专栏 订阅专栏 解锁全文
Apache Doris (三十二）：Doris 数据导入(十）Routine Load 1- 基本原理及语法
qq_32020645的博客
07-20 555
对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，严格模式对其也不产生影响。整型，用于设置发送批处理数据的并行度，如果并行度的值超过 BE 配置中的 max_send_batch_parallelism_per_job，那么作为协调点的 BE 将使用 max_send_batch_parallelism_per_job 的值。例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。
Doris 数据导入一：Broker Load 方式
shangjg3的博客
12-02 242
数据的合并类型，一共支持三种类型APPEND、DELETE、MERGE 其中，APPEND是默认值，表示这批数据全部需要追加到现有数据中，DELETE 表示删除与这批数据key相同的所有行，MERGE 语义 需要与delete 条件联合使用，表示满足delete 条件的数据按照DELETE 语义处理其余的按照APPEND 语义处理。如果希望撤销某一批导入的数据。在 data_desc 中可以指定待导入表的 partition 信息，如果待导入数据不属于指定的 partition 则不会被导入。
Doris系列13-数据导入之Routine Load
只是甲的博客
01-11 1614
文章目录一. Routine Load 概述二. Kafka 例行导入2.1 创建例行导入任务2.1.1 columns_mapping2.1.2 where_predicates2.1.3 desired_concurrent_number2.1.4 max_batch_interval/max_batch_rows/max_batch_size2.1.5 max_error_number2.1.6 data_source_properties2.1.7 strict_mode2.1.8 merge_ty
Apache Doris 系列： 基础篇-Routine Load
修破立生
09-17 2119
Routine Load 支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。目前仅支持通过无认证或者 SSL 认证方式，从 Kakfa 导入 CSV 或 Json 格式的数据。接下来通过一个案例介绍 Routine Load 的使用。部署单节点Kafka准备测试数据并导入kafka导入数据到 Doris。
doris routine load
qq_15138049的博客
12-04 1568
doris routine load
Doris Routine Load数据导入实战【每秒导入16w】
wangleigiser的博客
07-29 1357
我写了一个java程序模拟生成kafka数据并发送到kafka，该程序模拟生成5000万条数据并发送到kafka。京东地址https//item.jd.com/13613302.html。从任务状态可看出662829毫秒写入105533558条数数据，大概。最后宣传下我的书Spark内核和应用实战，可以购买我的新书。（105533558/662829约等于159216）数据。执行如下命令下载源码并编译执行，注意这些代码中默认的配为。...
Apache Doris以Routine Load方式流式的导入Kafka数据
Bulut0907
08-16 3146
如果schema change完成后，列映射关系无法匹配，则会导致作业的错误数据激增，最终导致作业暂停。如果routine load正在向一个partition导入数据，则不能进行该partition的删除，需等向该partition导入数据的任务完成活暂停routine load，才能删除该partition。：FE配置项，默认为5，可以运行时修改。Doris重新调度时，只会在5分钟这个周期内，最多尝试3次. 如果3次都失败则锁定当前任务，后续不再进行调度。：FE配置项，默认为5，可以运行时修改。...
大数据Doris（二十七）：Routine Load数据导入演示
Lansonli（蓝深李）的博客
11-21 360
启动kafka集群（三台节点都启动）启动kafka生产者命令行工具。查询表的数据（有一定延迟时间）在doris中创建对应表。
Apache Doris (三十三）：Doris 数据导入(十一）Routine Load 2- 导入案例及注意事项
qq_32020645的博客
07-21 848
抓紧订阅专题！
大数据Doris（二十六）：数据导入（Routine Load）介绍
Lansonli（蓝深李）的博客
11-19 582
每个 Task 负责导入指定的一部分数据。Task 被 TaskScheduler 分配到指定的 BE 上执行。在 BE 上，一个 Task 被视为一个普通的导入任务，通过 Stream Load 的导入机制进行导入。FE 中的 JobScheduler 根据汇报结果，继续生成后续新的 Task，或者对失败的 Task 进行重试。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。整个例行导入作业通过不断的产生新的 Task，来完成数据不间断的导入。
Doris Routine Load接入Kafka0.8.0实战
wangleigiser的博客
07-18 805
Doris默认支持Kafka0.10.0.0(含)以上版本。DoirsKafka客户端通过librdkafka实现，librdkafka通过broker.version.fallback和api.version.request来兼容历史的Kafka版本。具体参数参照https//docs.confluent.io/3.1.1/clients/librdkafka/CONFIGURATION_8md.html。broker.version.fallback兼容历史的版本号，默认为0.9.0。...
Apache Doris Routine Load快速体验之Kafka部署（1）
ith321的博客
07-16 1517
Apache Doris Routine Load快速体验之Kafka部署（1）
Doris中的本地routineload环境，用于开发回归测试用例
howard_shooter的博客
02-05 1106
上面这些都弄好后，执行 ./run-thirdparties-docker.sh -c kafka，就会下载镜像，创建kafka和zookeeper的容器，配置好网络，并向kafka写入数据，这些数据在 doris/docker/thirdparties/docker-compose/kafka/scripts 目录下，对应着 doris/regression-test/suites/load_p0/routine_load/ 里的测试用例用到的表。
Apache Doris 入门教程11：数据导入之Routine Load
sunjian286的专栏
07-18 1026
例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。本文主要介绍该功能的实现原理、使用方式以及最佳实践。
【社区提交PR】Doris-RoutineLoad支持事务
gaofeng的博客
08-12 1297
问题 doris目前在routineLoad任务中的kafka事务参数无效 相关ISSUE Fix routine load kafka property 未生效 #6138 [routine load] kafka routine load 可以读取到事务已经abort了的消息 #3682 Routine Load does not support kafka property ‘isolation.level’ #5485) 提交PR https://github.com/apache/incuba
Apache Doris Routine Load快速体验之案例（2）
ith321的博客
07-20 1791
Apache Doris Routine Load快速体验之案例（2）
Doris Routine Load正则表达实战
wangleigiser的博客
08-23 1144
Doris Routine Load正则表达实战 Doirs库、表 regexp_extract Spark内核和应用实战
使用Routine Load导入kafka的json数据到Doris
u013592588的博客
06-13 491
表结构很简单，使用聚合模型统计timestamp,op,rid相同时的数量总和。
Doris的Routine Load方式消费Kafka数据进入Doris
最新发布
qq_25954159的博客
09-24 871
最后kafka的数据就可以源源不断的存储到doris表里面了。假设kafka已有嵌套JSON数据格式为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值