Doris导入总览

已于 2022-04-15 15:02:43 修改
阅读量1.5k 收藏 1
点赞数
分类专栏： Doris学习笔记 文章标签： 数据库
于 2022-02-21 15:05:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huikougai2799/article/details/123047623
版权

导入总览

导入(Load)功能是将用户的原始数据导入Doris中.导入成功后,用户即可通过Mysql客户端查询数据.

基本概念

  1. Frontend(FE):Doris系统的元数据和调度节点.在导入流程中主要负责导入规划生成和导入任务调度工作.
  2. Backend(BE):Doris系统的计算和存储节点.在导入流程中主要负责数据的ETL和存储.
  3. Broker:Broker为一个独立的无状态进程.封装了文件系统接口,提供Doris读取远端存储系统中文件的能力.
  4. 导入作业(Load Job):导入作业读取用户提交的源数据,转换或清洗后,将数据导入到Doris系统中.导入完成后,数据即可被用户查询到.
  5. Label:所有导入作业都有一个Label.Label在一个数据库内唯一,可由用户指定或系统自动生成,用于标识一个导入作业.相同的Label仅可用于一个成功的导入作业.
  6. MySQL协议/HTTP协议:Doris提供两种访问协议接口.MySQL协议和HTTP协议.部分导入方式使用MySQL协议接口提交作业,部分导入方式使用HTTP协议接口提交作业.

导入方式

  • Doris提供了6种不同的导入方式,每种导入方式支持不同的数据源,存在不同的使用方式(同步、异步)
  • 所有导入方式都支持csv数据格式,其中Broker load还支持parquet和orc数据格式.
    • Broker load:通过Broker进程访问并读取外部数据源(如HDFS)导入到Doris,用户通过MySQL协议提交导入作业后,异步执行,通过SHOW LOAD命令查看导入结果.
    • Stream load:通过HTTP协议提交请求并携带原始数据创建导入.主要用于快速将本地文件或数据流中的数据导入Doris中.导入命令同步返回导入结果.
    • Insert:类似于MySQL中的Insert语句,Doris提供INSERT INTO tbl SELECT ...的方式从Doris的表中读取数据并导入到另一张表中.或者通过INSERT INTO tbl VALUES(...)插入单条数据.
    • Multi load:用户通过HTTP协议提交多个导入作业.Multi load可以保证多个导入作业的原子生效.
    • Routine load:用户通过MySQL协议提交导入作业,生成一个常驻线程,不间断的从数据源(如Kafka)中读取数据并导入Doris中.
    • 通过S3协议直接导入:用户通过S3协议直接导入数据,用法和Broker load类似.

基本原理

导入执行流程
PENDING
ETL
LOADING
FINISHED
CANCELLED

一个导入作业主要经过4个阶段:

  • PENDING(非必须):该阶段只有Broker load才有.Broker load被用户提交后会短暂停留在这个阶段,知道被FE中的Scheduler调度,其中Scheduler调度间隔为5秒.
  • ETL(非必须):该阶段在版本0.10.0(包含)之前存在,主要是用于将原始数据按照用户声明的方式进行变换,并且过滤不满足条件的原始数据.在0.10.0后的版本,ETL阶段不再存在,其中数据transform的工作被合并到LOADING阶段.
  • LOADING:该阶段在版本0.10.0(包含)之前主要用于将变换后的数据推到对应的BE存储中.在0.10.0后的版本,该阶段先对数据进行清洗和变换,然后将数据发送到BE存储中.当所有导入数据均完成导入后,进入等待生效过程,此时LOAD job依旧是LOADING.
  • FINISHED： 在 Load job 涉及的所有数据均生效后，Load job 的状态变成 FINISHED。FINISHED 后导入的数据均可查询。
  • CANCELLED: 在作业 FINISH 的之前，作业都可能被取消并进入 CANCELLED 状态。如用户手动取消，或导入出现错误等。CANCELLED 也是 Load Job 的最终状态，不可被再次执行。

上述阶段，除了PENDING到LOADING阶段是Scheduler轮训调度的，其他阶段之前的转移都是回调机制实现。

Label和原子性

  • Doris对所有导入方式提供原子性保证.不会出现导入部分数据情况.
  • 每一个导入作业都有一个由用户指定或者系统自动生成Label.Label在一个Database内唯一.当一个Label对应的导入作业成功后,不可再重复使用该Label提交导入作业.如果Label对应的导入作业失败,则可以重复使用.
  • 用户可以通过Label机制,来保证Label对应的数据最多被导入一次,即AT-Most-Once语义.

同步与异步

Doris目前导入的方式分为同步与异步.

同步

同步导入方式即用户创建导入任务,Doris同步执行导入,执行完成后返回用户导入结果.用户可直接根据创建任务命令返回的结果同步判断导入是否成功.
同步类型的导入方式有:Stream load,Insert.
操作步骤:

  1. 用户(外部系统)创建导入任务.
  2. Doris返回导入结果.
  3. 用户(外部系统)判断导入结果,如果失败可以再次提交导入任务.

异步

异步导入方式即用户创建导入任务后,Doris直接返回创建成功.创建成功不代表数据已经导入.导入任务会被异步执行,用户在创建成功后,需要通过轮询的方式发送查看命令查看导入作业的状态.如果创建失败,则可以根据失败信息,判断是否需要再次创建.
异步类型的导入方式有:Broker load、Multi load.
操作步骤:

  1. 用户(外部系统)创建导入任务.
  2. Doris返回导入创建结果.
  3. 用户(外部系统)判断导入创建结果,成功则进入4,失败回到重试创建导入,回到1.
  4. 用户(外部系统)轮询查看导入任务,直接状态变为FINISHED或CANCELLED.

注意事项

无论是异步还是同步的导入类型，都不应该在 Doris 返回导入失败或导入创建失败后，无休止的重试。外部系统在有限次数重试并失败后，保留失败信息，大部分多次重试均失败问题都是使用方法问题或数据本身问题.

内存限制

一个导入作业通常会分布在多个Backend上执行,导入内存限制的是一个导入作业,在单个Backend上的内存使用,而不是在整个集群上的内存使用.
每个Backend会设置可用于导入的内存的总体上限.
较小的内存限制可能会影响导入效率,因为导入流程可能会因为内存达到上限而频繁的将内存中的数据写回磁盘.而过大内存限制可能导致当导入并发较高时,系统OOM.

最佳实践

用户在接入Doris导入时,一般采用程序接入的方式,这样可以保证数据被定期的导入Doris中.

  1. 选择合适的导入方式:根据数据所在位置选择导入方式.
  2. 确定导入方式的协议:如果选择了Broker load导入方式,则外部系统需要使用MySQL协议定期提交和查看作业.
  3. 确定导入方式的类型:导入方式为同步或异步.比如Broker load为异步导入方式,则外部系统在提交创建导入后,必须调用查看导入命令,根据查看导入命令的结果来判断是否导入成功.
  4. 制定Label生成策略:Label生成策略需满足每一批次数据唯一且固定的原则,这样Doris就可以保证At-Most-ONce.
  5. 程序自身保证At-Least-Once:外部系统需要保证自身的At-Least-Once,这样可以保证导入流程的Exactly-Once.

通用系统配置

FE配置

以下配置属于FE的系统配置,可以通过修改FE的配置文件fe.conf来修改配置.

  • max_load_timeout_second和min_load_timeout_second
    • 最大的导入超时时间，最小的导入超时时间，以秒为单位。默认的最大超时时间为3天, 默认的最小超时时间为1秒。用户自定义的导入超时时间不可超过这个范围。该参数通用于所有的导入方式。
  • desired_max_waiting_jobs
    • 在等待队列中的导入任务个数最大值，默认为100。当在 FE 中处于 PENDING 状态（也就是等待执行的）导入个数超过该值，新的导入请求则会被拒绝。
    • 此配置仅对异步执行的导入有效，当异步执行的导入等待个数超过默认值，则后续的创建导入请求会被拒绝。
  • max_running_txn_num_per_db
    • 每个 Database 中正在运行的导入最大个数（不区分导入类型，统一计数）。默认的最大导入并发为 100。当当前 Database 正在运行的导入个数超过最大值时，后续的导入不会被执行。如果是同步导入作业，则导入会被拒绝。如果是异步导入作业。则作业会在队列中等待。

BE配置

以下配置属于BE系统配置,可以通过修改BE的配置文件be.conf来修改配置

  • push_write_mbytes_per_sec
    • BE上单个Tablet的写入速度限制。默认是10，即10MB/s。通常BE对单个 Tablet 的最大写入速度，根据Schema以及系统的不同，大约在10-30MB/s之间。可以适当调整这个参数来控制导入速度。
  • write_buffer_size
    • 导入数据在BE上会先写入一个memtable，memtable达到阈值后才会写回磁盘。默认大小是100MB。过小的阈值可能导致BE上存在大量的小文件。可以适当提高这个阈值减少文件数量。但过大的阈值可能导致RPC超时.
  • tablet_writer_rpc_timeout_sec
    • 导入过程中，发送一个Batch（1024行）的RPC超时时间。默认600秒。因为该RPC 可能涉及多个memtable的写盘操作，所以可能会因为写盘导致RPC超时，可以适当调整这个超时时间来减少超时错误（如send batch fail错误）。同时，如果调大write_buffer_size配置，也需要适当调大这个参数。
  • streaming_load_rpc_max_alive_time_sec
    • 在导入过程中，Doris会为每一个Tablet开启一个Writer，用于接收数据并写入。这个参数指定了Writer的等待超时时间。如果在这个时间内，Writer没有收到任何数据，则Writer会被自动销毁。当系统处理速度较慢时，Writer 可能长时间接收不到下一批数据，导致导入报错：TabletWriter add batch with unknown id。此时可适当增大这个配置。默认为600秒。
  • load_process_max_memory_limit_bytes和load_process_max_memory_limit_percent
    • 这两个参数，限制了单个Backend上，可用于导入任务的内存上限。分别是最大内存和最大内存百分比。load_process_max_memory_limit_percent默认为 80，表示对Backend总内存限制的百分比（总内存限制mem_limit默认为80%，表示对物理内存的百分比）。即假设物理内存为M，则默认导入内存限制为M * 80% * 80%。
    • load_process_max_memory_limit_bytes默认为100GB。系统会在两个参数中取较小者，作为最终的 Backend 导入内存使用上限。
  • label_keep_max_second
    • 设置导入任务记录保留时间。已经完成的（FINISHED or CANCELLED）导入任务记录会保留在Doris系统中一段时间，时间由此参数决定。参数默认值时间为3天。该参数通用与所有类型的导入任务。

列映射

  • 假设导入数据有为1，2，3，表有c1,c2,c3 三列，如果数据直接导入表中可以使用如下语句COLUMNS(c1,c2,c3)此语句等价于COLUMNS(tmp_c1,tmp_c2,tmp_c3,c1=tmp_c1,c2=tmp_c2,c3=tmp_c3)如果想再导入数据时执行变换或者使用临时变量，则变换或者临时变量一定要按照使用的顺序指定， 例如COLUMNS(tmp_c1,tmp_c2,tmp_c3, c1 = tmp_c1 +1, c2= c1+1, c3 =c2+1),这样的语句等价于COLUMNS(tmp_c1,tmp_c2,tmp_c3, c1 = tmp_c1 +1, c2= tmp_c1 +1+1, c3 =tmp_c1 +1+1+1)在使用某个表达式时这个表达式一定要在前面定义，例如如下语句则不合法COLUMNS(tmp_c1,tmp_c2,tmp_c3, c1 = c1+1, c2 = temp + 1, temp = tmp_c1 +1, c3 =c2+1)
大脸猫脸大主持人猫脸大
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据入门核心技术-Doris】（六）数据导入
11-28 473
用于指定导入文件中的列分隔符，默认为\t。如果是不可见字符，则需要加\x作为前缀，使用十六进制来表示分隔符。如hive文件的分隔符\x01，需要指定为-H "column_separator:\x01"。-H “label:load_local_file_test” \ # 本次任务的唯一标识。http://主机名:端口号/api/库名/表名/_stream_load。用于指定导入文件中的换行符，默认为\n。可以使用多个字符的组合作为列分隔符。可以使用做多个字符的组合作为换行符。
Doris 日志分析案例
最新发布
04-29 6万+
前面我们介绍了，和，今天我们来看一个具体的案例，因为日志数据往往都是写到kafka 或者，是通过日志收集工具收集到kafka 中的。所以我们如果想要使用Doris进行日志分析的话，那我们需要做的一件事情，就是同步数据到Doris，这也就是我们前面介绍的功能，只不过我们上一节只是创建了一个测试的topic 和表，这一节我们看一个真实的案例。
Doris进阶——数据导出
weixin_59812175的博客
06-20 1348
Doris的Export
doris报错：Label Already Exists
海若_matrix的博客
04-12 2574
1.报错场景 加载数据 [starcross@app1 FLink-test-LT]$ curl --location-trusted -u root:aba -T 'data_2022-04-11.csv' -H "label:testdoris201" -H "column_separator:," -XPUT http://10.22.33.69:8030/api/os/ws/_stream_load 2.报错内容 { "TxnId": -1, "Label": "testdoris
doris 读写流程
qq_15138049的博客
08-19 650
doris读写
doris常用命令
join_null的博客
11-25 3879
1.基本维护命令 1.查看前端节点 SHOW PROC '/frontends' 2.查看后端节点 SHOW PROC '/backends' 3.查看表数据大小 SHOW DATA # 查看所有表大小 SHOW DATA FROM org_project_data_2 # 查看指定表大小 5.查看表分区 SHOW PARTITIONS FROM new_table_name 6.查看load数据的lable的任务执行情况 SHOW LOAD WHERE label="my_label1" 7.重命名
悄悄学习Doris，偷偷惊艳所有人 | Apache Doris四万字小总结
u011250186的博客
11-03 1976
悄悄学习Doris，偷偷惊艳所有人 | Apache Doris四万字小总结
Doris系列3-基础使用指南
只是甲的博客
12-30 7055
文章目录基础使用指南一. 创建用户1.1 Root 用户登录与密码修改1.2 创建新用户二. 数据表的创建与数据导入2.1 创建数据库2.2 账户授权2.3 建表2.3.1 单分区2.3.2 复合分区2.4 导入数据2.4.1 流式导入2.4.2 Broker 导入参考: 基础使用指南 Doris 采用 MySQL 协议进行通信，用户可通过 MySQL client 或者 MySQL JDBC连接到 Doris 集群。选择 MySQL client 版本时建议采用5.1 之后的版本，因为 5.1 之前不能支
Doris导入json数据实例
chengt666的博客
10-22 558
doris导入json数据
Doris进阶——数据导入
weixin_59812175的博客
06-20 3839
Doris中的几种数据导入方法
Doris 数据集成 Kafka
热门推荐
04-26 6万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
大数据Doris（二十二）：数据查看导入
Lansonli（蓝深李）的博客
11-14 391
导入任务当前所处的阶段。Broker load 导入方式由于是异步的，所以用户必须将创建导入的 Label 记录，并且在查看导入命令中使用 Label 来查看导入结果。导入任务的唯一ID，每个导入任务的 JobId 都不同，由系统自动生成。如果所有导入表均完成导入，此时 LOAD 的进度为 99% 导入进入到最后生效阶段，整个导入完成后，LOAD 的进度才会改为 100%。这几个值分别代表导入创建的时间，ETL阶段开始的时间，ETL阶段完成的时间，Loading阶段开始的时间和整个导入任务完成的时间。
Apache Doris 入门教程14：数据导入之MySql load
sunjian286的专栏
07-23 1213
本文主要介绍如何在Apache Doris中通过MySql load方式进行数据导入
doris 问题 列表
wudonglianga的专栏
10-25 1228
doris 错误问题列表
Doris导入数据的方式
wudonglianga的专栏
01-03 2413
1. 通过命令导入csv数据 1.0 建表语句 mysql> CREATE TABLE `wudl_doris` ( -> `id` int NULL COMMENT "", -> `name` int NULL COMMENT "", -> `address` string NULL COMMENT "", -> `city` varchar(2000) NULL COMMENT "", -> `p
【Doris】MySQL数据同步至Doris问题记录
ZORO的成长记录
02-28 2512
最近接到一个数据同步的任务，需要基于 DataInLong 将数据从 MySQL 同步至 Doris 中。
DorisDB系列文档(九) 数据导入简介
HANG.NIAN
04-25 1706
1 简介 为了更好地满足各种不同的业务场景，DorisDB支持多种数据模型，DorisDB中存储的数据需要按照特定的模型进行组织。数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到DorisDB中，方便查询使用。 DorisDB提供了多种导入方式，用户可以根据数据量大小、导入频率等要求选择最适合自己业务需求的导入方式。本节介绍数据导入的基本概念、基本原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。 导入作业：导入作业读取用户提交的源数据并进行清洗转换后，将数据导入到Do
Python-大文件入Doris方案（切割方式）
健身看书环游世界
04-19 996
【代码】Python-大文件入Doris方案（切割方式）
Doris数据库的基本使用
m0_58509603的博客
09-15 7979
文章目录Doris数据库建表导入与删除导入删除查询与更新查询更新参考文档： Doris数据库 Doris 采用 MySQL 协议进行通信，可以通过 MySQL client 或者 MySQL JDBC连接到 Doris 集群，在使用上，与MySQL类似。 建表 CREATE TABLE IF NOT EXISTS example_db.expamle_tbl ( `user_id` LARGEINT NOT NULL COMMENT "用户id", `date` DATE NOT NULL COMMENT
windows系统doris 数据库导入导出
11-15
而对于数据导入，Doris也提供了相应的功能。下面是在Windows系统中使用Doris进行数据导入导出的步骤： 1. 首先需要在Windows系统中安装Doris，并配置好环境变量。 2. 在Doris中创建一个数据库，并创建相应的表。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值