【遇见Doris】Apache Doris Parquet文件读取的设计与实现

最新推荐文章于 2025-01-01 14:46:36 发布

ApacheDoris

最新推荐文章于 2025-01-01 14:46:36 发布

阅读量1.1k

点赞数

文章标签：数据库 python mysql java 大数据

本文链接：https://blog.csdn.net/ucanuup_/article/details/114976457

版权

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。关注Doris官方公众号，后台回复“0629”即可获取各位嘉宾分享PPT及现场录像。

今天是Doris的Contributor徐小冰同学代表搜狐带来的关于Apache Doris (incubating)Parquet文件读取的设计与实现。

所有需求的推动都基于真实的业务痛点。搜狐在Hadoop上的文件主要存储为Parquet。

Parquet有如下优势：

列式存储，压缩比高(RLE、字段编码等)，查询效率高(列pruning，block filter)
Spark/Impala/Hive都支持(ORC Impala最新版本才支持)

而Doris只支持CSV格式。因此Parquet文件的读取流程就需要两步：

通过相关命令行或者工具将数据表导出到csv文件中
通过Doris load命令进行导入

这种方式的问题在于一方面CSV默认换行符是\n,如果数据中包含该\n会导致load失败。并且整体效率不高。因此，Doris支持Parquet读取，势在必行。

Load流程概览

首先来了解一下load流程。Doris的整体架构如图所示。

首先通过MySQL Client和MySQL协议，将load请求下发到FE master上。MySQL协议是异步的，执行完成后就会直接返回给MySQL client。

如果导入多个文件，可能会需要在FE进行负载均衡，即分发给其他的FE（FE follower），FE会从BE中选择来处理，BE会分别通过broker读取HDFS，由BE进行处理。

Load流程

Load-Prepare流程

Load-Open流程

Load-Scanner流程

使用方式

导入指定文件

显示指定文件格式为:parquet，指定语句为：

FORMAT AS "parquet"

如若缺省则按照导入文件后缀名判断。

具体示例：

LOAD LABEL mydatabase.load_test1(DATA INFILE("hdfs://127.0.0.1:8020/tmp/xuxb/000444abc_0")
INTO TABLE parquet_table
FORMAT AS "parquet"
(col_a, col_b, col_c))
WITH BROKER broker_parquet;

导入指定目录

同时也支持指定目录，指定语句同样为：

FORMAT AS "parquet"

通过DATA INFILE 后的/*来指定目录文件

DATA INFILE("hdfs://127.0.0.1:8020/tmp/xuxb/abc/*")

具体示例：

LOAD LABEL mydatabase.load_test1
(
DATA INFILE("hdfs://127.0.0.1:8020/tmp/xuxb/abc/*")
INTO TABLE parquet_table
FORMAT AS "parquet"
(col_a, col_b, col_c)
)
WITH BROKER broker_parquet;

存在分区字段

对于分区字段，在Parquet文件中是不存在的，在这种情况下应该如何应用？

例如id,type是两个分区字段，在Parquet文件中不存在该列信息，首先创建Doris表如下，将id,type存在Doris表中：

CREATE TABLE demo_mem_infos
(
id                     INT,   #分区字段 存在Doris表中
type                   INT,   #分区字段 存在Doris表中
col_a                  VARCHAR(128),
col_b                  VARCHAR(128),
col_c                  VARCHAR(128)
)
ENGINE=olap
AGGREGATE KEY(`col_a`,`col_b`,`col_c`)
DISTRIBUTED BY HASH(id) BUCKETS 25
PROPERTIES ("storage_type"="column","replication_num" = "1");

Load的写法如下：

LOAD LABEL mydatabase.load_test1
(
DATA INFILE("hdfs://127.0.0.1:8020/tmp/id=100/type=10/*")
INTO TABLE demo_mem_infos
FORMAT AS "parquet"
(col_a,col_b,col_c)
set (
    id=default_value("100"),
    type=default_value("10")
)
)
WITH BROKER broker_parquet;