目录
进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容!
宝子们订阅、点赞、收藏不迷路!抓紧订阅专题!
Apache Doris架构中除了有BE和FE进程之外,还可以部署Broker可选进程,主要用于支持Doris读写远端存储上的文件和目录。例如:Apache HDFS 、阿里云OSS、亚马逊S3等。Broker Load这种数据导入方式主要用于通过 Broker 服务进程读取远端存储(如S3、HDFS)上的数据导入到 Doris 表里。
使用 Broker load 最适合的场景就是原始数据在文件系统(HDFS,BOS,AFS)中的场景,数据量在几十到百GB 级别。用户需要通过 MySQL协议创建 Broker load 导入,并通过查看导入命令检查导入结果。
本文详细介绍了Apache Doris的Broker Load数据导入方式,包括基本原理和Broker Load语法。Broker Load适用于从远程存储如HDFS、S3导入数据到Doris表,支持CSV、PARQUET和ORC格式,且提供了多种导入选项和过滤条件,如分区、列映射和过滤表达式。
订阅专栏 解锁全文
702

被折叠的 条评论
为什么被折叠?



