Apache Doris (三十二）：Doris 数据导入(十）Routine Load 1- 基本原理及语法

最新推荐文章于 2024-03-14 11:36:57 发布
最新推荐文章于 2024-03-14 11:36:57 发布
阅读量382 收藏
点赞数
分类专栏： 大数据OLAP体系技术栈 文章标签： doris 实时数仓 数据仓库 大数据 olap 分布式数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131819519
版权

目录

1. 基本原理

2. Routine Load 语法

​​​​​​​3. 严格模式

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

宝子们订阅、点赞、收藏不迷路！抓紧订阅专题！

例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。目前Routine Load仅支持从Kafka中导入数据。

​​​​​​​1. 基本原理

如上图，Client 向 FE 提交一个Routine Load 作业。FE 通过 JobScheduler 将一个导入作业拆分成若干个 Task。每个 Task 负责导入指定的一部分数据。Task 被 TaskScheduler 分配到指定的 BE 上执行。

<
了解本专栏 订阅专栏 解锁全文
IT贫道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据Doris（二十六）：数据导入（Routine Load）介绍
Lansonli（蓝深李）的博客
11-19 397
每个 Task 负责导入指定的一部分数据。Task 被 TaskScheduler 分配到指定的 BE 上执行。在 BE 上，一个 Task 被视为一个普通的导入任务，通过 Stream Load 的导入机制进行导入。FE 中的 JobScheduler 根据汇报结果，继续生成后续新的 Task，或者对失败的 Task 进行重试。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。整个例行导入作业通过不断的产生新的 Task，来完成数据不间断的导入。
Apache Doris (三十三）：Doris 数据导入(十一）Routine Load 2- 导入案例及注意事项
qq_32020645的博客
07-21 680
抓紧订阅专题！
Apache Doris 数据导入：Insert Into语句；Binlog Load；Broker Load；HDFS Load；Spark Load；例行导入（Routine Load）
学亮编程手记
02-12 1416
Doris 中的所有导入操作都有原子性保证，即一个导入作业中的数据要么全部成功，要么全部失败，不会出现仅部分数据导入成功的情况。一个导入作业都会有一个 Label。这个 Label 是在一个数据库（Database）下唯一的，用于唯一标识一个导入作业。Label 可以由用户指定，部分导入功能也会由系统自动生成。Label 是用于保证对应的导入作业，仅能成功导入一次。一个被成功导入的 Label，再次使用时，会被拒绝并报错 Label already used。
Apache Doris 系列： 基础篇-Routine Load
修破立生
09-17 1712
Routine Load 支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。目前仅支持通过无认证或者 SSL 认证方式，从 Kakfa 导入 CSV 或 Json 格式的数据。接下来通过一个案例介绍 Routine Load 的使用。部署单节点Kafka准备测试数据并导入kafka导入数据到 Doris。
Apache Doris 2.1 核心特性 Variant 数据类型技术深度解析
SelectDB
03-14 793
Variant 的引入，使得存储和查询性能上均有显著提升，相较于 JSON 类型，存储空间减少了约 65%，查询速度提升超 8 倍。
Doris系列13-数据导入之Routine Load
只是甲的博客
01-11 1302
文章目录一. Routine Load 概述二. Kafka 例行导入2.1 创建例行导入任务2.1.1 columns_mapping2.1.2 where_predicates2.1.3 desired_concurrent_number2.1.4 max_batch_interval/max_batch_rows/max_batch_size2.1.5 max_error_number2.1.6 data_source_properties2.1.7 strict_mode2.1.8 merge_ty
doris routine load
qq_15138049的博客
12-04 1306
doris routine load
Apache Doris Routine Load快速体验之Kafka部署（1）
ith321的博客
07-16 1292
Apache Doris Routine Load快速体验之Kafka部署（1）
Doris Routine Load接入Kafka0.8.0实战
wangleigiser的博客
07-18 616
Doris默认支持Kafka0.10.0.0(含)以上版本。DoirsKafka客户端通过librdkafka实现，librdkafka通过broker.version.fallback和api.version.request来兼容历史的Kafka版本。具体参数参照https//docs.confluent.io/3.1.1/clients/librdkafka/CONFIGURATION_8md.html。broker.version.fallback兼容历史的版本号，默认为0.9.0。...
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
apache-doris-1.0.0-incubating-bin.tar.gz
05-05
Apache Doris（apache-doris-1.0.0-incubating-bin.tar.gz）是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache...
Apache Doris数据分析综合案例实战
最新发布
05-07
Apache Doris数据分析综合案例实战
routine的加载
weixin_30632089的博客
09-13 254
// Hearthbuddy.Windows.MainWindow // Token: 0x06000245 RID: 581 RVA: 0x0008C318 File Offset: 0x0008A518 [CompilerGenerated] private void method_27() { List<IRoutine> routines ...
第3.3章：StarRocks数据导入--Routine Load
流木的博客
02-10 7381
Routine Load（例行导入）是StarRocks自带的一种可以从Kafka中持续不断的导入数据的方式，我们可以方便的在StarRocks中通过SQL来控制导入任务的暂停、继续及停止。 关于Routine Load，StarRocks官方文档描述的非常详细，这里仅结合自己的一些实践和理解简单再梳理一下。官网相关文档地址：...
Apache Doris以Routine Load方式流式的导入Kafka数据
Bulut0907
08-16 2432
如果schema change完成后，列映射关系无法匹配，则会导致作业的错误数据激增，最终导致作业暂停。如果routine load正在向一个partition导入数据，则不能进行该partition的删除，需等向该partition导入数据的任务完成活暂停routine load，才能删除该partition。：FE配置项，默认为5，可以运行时修改。Doris重新调度时，只会在5分钟这个周期内，最多尝试3次. 如果3次都失败则锁定当前任务，后续不再进行调度。：FE配置项，默认为5，可以运行时修改。...
Doris中的本地routineload环境，用于开发回归测试用例
howard_shooter的博客
02-05 927
上面这些都弄好后，执行 ./run-thirdparties-docker.sh -c kafka，就会下载镜像，创建kafka和zookeeper的容器，配置好网络，并向kafka写入数据，这些数据在 doris/docker/thirdparties/docker-compose/kafka/scripts 目录下，对应着 doris/regression-test/suites/load_p0/routine_load/ 里的测试用例用到的表。
apache doris (incubating) 原理与实践
07-31
Apache Doris（孵化器项目）是一个开源的分布式实时数据仓库，旨在提供高性能和可伸缩性的数据分析和报告能力。它的主要原理和实践如下： 1. 列式存储：Apache Doris使用列式存储来存储数据，即将每列的数据分开存储在不同的文件中。这种存储方式有助于提高数据的压缩率，减少存储空间的占用，并提高数据查询的效率。 2. 分布式架构：Apache Doris采用分布式架构，将数据分片存储在多个节点上，以实现数据的水平扩展和负载均衡。每个节点都有相同的数据副本，确保数据的高可靠性和容错性。 3. Write-optimized：Apache Doris采用了“write-optimized”（写优化）的设计理念，即将写入操作的性能优化至极致。它使用了基于LSM树（Log-structured Merge Tree）的数据结构，将写入操作顺序化和批处理，大大提高了写入性能。 4. 计算与存储分离：Apache Doris将计算和存储分离，通过多个计算引擎（如Palo，Spark）对数据进行分析和查询。这种架构允许根据需求进行灵活的扩缩容，并提供了多种数据接入和导出方式。 在实践中，可以按照以下步骤使用Apache Doris： 1. 安装和配置：首先需要下载和部署Apache Doris，然后进行相关配置，包括节点的IP地址、端口号、数据存储路径等。 2. 数据导入：将数据导入到Apache Doris中，可以通过多种方式，如使用ETL工具、使用JDBC驱动程序或通过API进行数据导入。 3. 数据模型设计：根据需求设计数据模型，包括表的结构、字段名和数据类型等。 4. 数据分片和分布：根据数据量和负载要求，将数据分片存储在不同的节点上，并确保数据的均衡分布。 5. 数据查询和分析：使用SQL语句对数据进行查询和分析，通过连接计算引擎对数据进行处理和计算，并根据需要生成相应的报表和图表。 6. 集群监控和管理：通过监控工具对集群进行实时监控，包括节点的状态、负载情况和性能指标等，及时发现和解决问题。 总之，Apache Doris通过列式存储、分布式架构、写优化和计算与存储分离等原理，提供了高效可靠的数据分析和报告能力。在实践中，可以根据需求进行安装配置、数据导入、数据模型设计、数据查询和分析，以及集群监控和管理等步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值