Doris进阶——数据导出

Export导出

Doris提供了一种数据导出功能，可以将数据（可指定分区）的数据以文本的格式进行导出，可以通过Broker进程将数据导出到HDFS或者其他远端存储系统中。

基本原理：

• Doris在提交一个Export任务后，首先FE会向BE发送snapshot命令，将所涉及到的所有Tablet进行snapshot，然后生成多个查询计划，并开始执行。
• 每个查询计划负责扫描一部分Tablet，可以通过FE参数进行配置：export_tablet_num_per_task = 5（默认）
• 然后以行的形式进行组织，1024行数据为一个bach ,然后通过broker的方式输出到外内部存储系统HDFS等。
• 整个导出任务会重复3次，如果3次全部失败那么这一次导出任务将失败。
• Doris首先会在外部存储系统中创建一个临时目录，数据完全导出后，然后再将导出的数据放入指定的路径下。

语法：

-- 例如导出到HDFS上
EXPORT TABLE db1.tbl1  -- 指定对应的库名和表名
PARTITION (p1,p2) -- 指定导出的分区
[WHERE [expr]] 
TO "hdfs://host/path/to/export/"  -- 导出路径
PROPERTIES
(
	"label" = "mylabel", -- 任务名
    "column_separator"=",", -- 分隔符
    "columns" = "col1,col2", -- 列名
    "exec_mem_limit"="2147483648", --单个查询计划的内存使用限制
    "timeout" = "3600" --超时时间
)
WITH BROKER "hdfs" -- broker名
(
	"username" = "user", 
	"password" = "passwd"
);

示例：

-- 将数据导出到HDFS上，且HDFS是HA模式
export table test.student
to "hdfs://doit01:8020/doris-export"
PROPERTIES
(
	"label" = "mylabel",
    "column_separator"=",",
    "timeout" = "3600"
)
WITH BROKER "broker_name"
(
  #HDFS开启HA需要指定，还指定其他参数
  "dfs.nameservices"="mycluster",
  "dfs.ha.namenodes.mycluster"="nn1,nn2,nn3",
  "dfs.namenode.rpc-address.mycluster.nn1"= "test1:8020",
  "dfs.namenode.rpc-address.mycluster.nn2"= "test2:8020",
  "dfs.namenode.rpc-address.mycluster.nn3"="test3:8020",
"dfs.client.failover.proxy.provider.mycluster"="org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"          
);

注意：

• Export导出任务会占用IO资源导致查询效率降低
• 如果表的数据量太大建议分区导出，否则可能会产生很多的垃圾文件，也会导致重试成本的增加
•  Export任务执行时FE节点出现问题进行重启，Export任务也会随之失败

查询结果导出：

通过broker的方式直接将查询结果通过：SELECT INTO OUTFILE 进行导出

示例：

-- 通过broker的方式将查询结果进行导出
SELECT * FROM students
INTO OUTFILE "hdfs://test01:8020/doris-out/" -- 指定导出外部存储系统的地址
FORMAT AS CSV -- 导出格式
PROPERTIES
(
    "broker.name" = "broker_name", -- broker名
    "column_separator" = ",",
    "line_delimiter" = "\n",
    "max_file_size" = "100MB" --导出最大的单个文件不超过100M
);

-- 导出parquet格式，导出到HDFS
SELECT city, age FROM students
INTO OUTFILE "hdfs://test01:8020/doris-out/"
FORMAT AS PARQUET
PROPERTIES
(
"broker.name" = "broker_name",
"schema"="required,int32,id;required,byte_array,name" -- 导出parquet需指定schema
);

并发导出：

• 在默认的情况下数据集的导出时单点导出，可以设置并发导出：set enable_parallel_outfile = true;
• 导出方式为HDFS、S3，broker不用指定，broker本身就是并发执行的
• 查看是否并发导出成功，使用explain 查看执行计划图，在PLAN FRAGMENT 1中就证明导出成功，否则就导出失败，该查询不满足并发导出

使用HDFS进行导出：

示例：

set enable_parallel_outfile = true; -- 开启并发导入
EXPLAIN SELECT * FROM example_site_visit
INTO OUTFILE "hdfs://doris-out/"
FORMAT AS CSV
PROPERTIES
(
    "hdfs.fs.defaultFS" = "hdfs://test01:8020",
"hdfs.hdfs_user" = "root",
"column_separator" = ","
);

详细导出，看Doris官网：Doris官网