Apache Doris (三十三）：Doris 数据导入(十一）Routine Load 2- 导入案例及注意事项

最新推荐文章于 2024-06-13 15:19:05 发布
最新推荐文章于 2024-06-13 15:19:05 发布
阅读量802 收藏 1
点赞数 2
分类专栏： 大数据OLAP体系技术栈 文章标签： doris olap 大数据 分布式数据库 实时数仓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131840673
版权
本文详细介绍了如何使用Apache Doris的Routine Load功能从Kafka导入数据，涵盖不同数据格式（CSV，JSON）和严格模式，强调了导入过程中的注意事项，包括Kafka版本兼容性、数据格式要求、错误处理策略等。
摘要由CSDN通过智能技术生成

目录

1. 导入Kafka数据到Doris

2. 严格模式导入Kafka数据到Doris

3. kafka 简单json格式数据导入到Doris

4. kafka json 数组格式数据导入到Doris

5. 注意事项

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

宝子们订阅、点赞、收藏不迷路！抓紧订阅专题！

目前Routine Load仅支持从Kafka中导入数据到Doris中，在将Kafka数据导入到Doris中有如下限制：

  1. 支持的Kafka可以是无认证的Kafka或者是SSL方式认证的kafka
  2. kafka版本要求最好大于0.10.0.0（含）以上，如果低于该版本的kafka需要修改 be 的配置，将 kafka_broker_version_fallback 的值设置为要兼容的旧版本，或者在创建routine load的时候直接设置 property.broker.version.fallback的值为要兼容的旧版本，使用旧版本的代价是routine
了解本专栏 订阅专栏 解锁全文
IT贫道
关注
专栏目录
订阅专栏
Apache Doris (三十二）：Doris 数据导入(十）Routine Load 1- 基本原理及语法
qq_32020645的博客
07-20 483
对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，严格模式对其也不产生影响。整型，用于设置发送批处理数据的并行度，如果并行度的值超过 BE 配置中的 max_send_batch_parallelism_per_job，那么作为协调点的 BE 将使用 max_send_batch_parallelism_per_job 的值。例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。
Kafka load to Doris
JustinMars的博客
09-24 651
使用限制 支持无认证的 Kafka 访问，以及通过 SSL 方式认证的 Kafka 集群。 支持的消息格式为 csv, json 文本格式。csv 每一个 message 为一行，且行尾不包含换行符。 仅支持 Kafka 0.10.0.0(含) 以上版本。 创建例行导入任务的的详细语法可以连接到 Doris 后，执行 HELP ROUTINE LOAD; Name: ‘ROUTINE LOAD’ Description: 例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从
使用Routine Load导入kafka的json数据到Doris
最新发布
u013592588的博客
06-13 326
表结构很简单，使用聚合模型统计timestamp,op,rid相同时的数量总和。
Doris系列之导入Kafka数据操作
Allen_人工智能与大数据
08-14 3011
Doris系列之导入Kafka数据操作
Apache Doris 数据导入：Insert Into语句；Binlog Load；Broker Load；HDFS Load；Spark Load；例行导入（Routine Load）
学亮编程手记
02-12 2034
Doris 中的所有导入操作都有原子性保证，即一个导入作业中的数据要么全部成功，要么全部失败，不会出现仅部分数据导入成功的情况。一个导入作业都会有一个 Label。这个 Label 是在一个数据库（Database）下唯一的，用于唯一标识一个导入作业。Label 可以由用户指定，部分导入功能也会由系统自动生成。Label 是用于保证对应的导入作业，仅能成功导入一次。一个被成功导入的 Label，再次使用时，会被拒绝并报错 Label already used。
Doris（5）：数据导入（Load）之Broker load
u013938578的博客
04-14 1025
为适配不同的数据导入需求，Doris系统提供了五种不同的数据导入方式，每种数据导入方式支持不同的数据源，存在不同的方式（异步，同步）通过Broker进程访问并读取外部数据源（HDFS）导入Doris，用户通过Mysql提交导入作业，异步执行，通过show load命令查看导入结果用户通过HTTP协议提交请求并携带原始数据创建导入，主要用于快速将本地文件或者数据流中的数据导入到Doris，导入命令同步返回结果。
Apache Doris (三十六）：通过外部表同步数据到Doris及Doris数据导入总结
qq_32020645的博客
07-24 1140
Doris 中的所有导入操作都有原子性保证，即一个导入作业中的数据要么全部成功，要么全部失败，不会出现仅部分数据导入成功的情况。一个导入作业都会有一个 Label。这个 Label 是在一个数据库（Database）下唯一的，用于唯一标识一个导入作业。Label 可以由用户指定，部分导入功能也会由系统自动生成。Label 是用于保证对应的导入作业，仅能成功导入一次。一个被成功导入的 Label，再次使用时，会被拒绝并报错 Label already used。
Doris进阶——数据导入
weixin_59812175的博客
06-20 3860
Doris中的几种数据导入方法
Flink 消费 Kafka 数据实时落Apache doris数据仓库（KFD）
锋哥聊DORIS数仓
08-31 1631
实现 Flink 消费 Kafka 数据实时落Apache doris数据仓库（KFD） 1.概述 Apache Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据仓库，由百度在 2017 年开源，2018 年 8 月进入 Apache 孵化器。 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。 Apac
Doris（7）：数据导入（Load）之Routine Load
u013938578的博客
04-19 832
例行导入功能为用户提供了义中自动从指定数据源进行数据导入的功能。
大数据Doris（二十七）：Routine Load数据导入演示
Lansonli（蓝深李）的博客
11-21 319
启动kafka集群（三台节点都启动）启动kafka生产者命令行工具。查询表的数据（有一定延迟时间）在doris中创建对应表。
Doris对接消费kafka数据方案实现
HD0do的博客
04-09 9237
doris对接kafka，消费kafka数据到doris中方案实现
Apache Doris Routine Load快速体验之案例（2）
ith321的博客
07-20 1627
Apache Doris Routine Load快速体验之案例（2）
Apache Doris 02|导入数据遇到的问题
longqiancao1的博客
06-15 5168
1、broker load 数据导入失败 ErrorMsg: type:ETL_RUN_FAIL; msg:errCode = 2, detailMessage = Broker list path failed. path=hdfs://devtest4.com:50075/tmp/test1/tabledata1,broker=TNetworkAddress(hostname:192.168.11.37, port:8000),msg=unknown error when get file statu
HDFS客户端域名解析失败导致UnknownHostException事故解析
小昌昌的博客
12-27 1326
生产环境HDFS客户端发生了临时的域名解析失败问题，此时HDFS客户端虽然在重试，但是实际上对域名却并未重新解析，因此重试无效。本文基于我们在生产环境遇到的这个问题，详细记录了分析的过程和最终的根本原因的查找。
UnknowhostException错误
oasia111的博客
11-06 5279
错误情况 Dns解析问题，由于无法解析域名而导致无法获取对应的ip 解决方法 在etc/hosts中手动增加解析规则 格式 ip 域名 相关 由于云平台配置了
大数据培训 | Doris数据导入与导出
weixin_45695430的博客
05-26 5186
1 数据导入 导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过 Mysql 客户端查询数据。为适配不同的数据导入需求，Doris 系统提供了6种不同的导入方式。每种导入方式支持不同的数据源，存在不同的使用方式（异步，同步）。 所有导入方式都支持 csv 数据格式。其中Broker load 还支持parquet和orc 数据格式。 Broker load通过 Broker 进程访问并读取外部数据源（如 HDFS）导入到 Doris。用户通过 Mysql 协议提交
Doris相关问题处理和异常处理
wangqiaowq的博客
08-23 1767
1、decimal 字段异常。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值