Apache Doris (三十七）：Doris数据导出 - Export导出

最新推荐文章于 2024-02-22 18:00:00 发布
最新推荐文章于 2024-02-22 18:00:00 发布
阅读量189 收藏
点赞数
分类专栏： 大数据OLAP体系技术栈 文章标签： doris olap 实时数仓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/133689215
版权
本文详细介绍了 Apache Doris 的 Export 功能，包括导出原理、查询计划拆分与执行、Export 语法和结果，以及导出到 HDFS 的案例。在导出过程中，Doris 通过 Broker 将数据以文本格式存储到远端存储，如 HDFS。文章强调了合理设置查询计划数量和内存限制的重要性，并提供了 Export 语法示例和注意事项，如避免一次性导出大量数据，以及 Export 作业在 FE 重启或切主时的行为。
摘要由CSDN通过智能技术生成

进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客

 🚩 私聊博主：加入大数据技术讨论群聊。

 🔔 博主个人B栈地址：https://space.bilibili.com/430821680?spm_id_from=333.999.0.0

目录

1. 导出原理

1.1 查询计划拆分

1.2 查询计划执行

​​​​​​​2. Export语法和结果

3. Doris数据导出到HDFS案例

​​​​​​​4. 注意事项

了解本专栏 订阅专栏 解锁全文
IT贫道
关注
专栏目录
订阅专栏
Apache Doris (三十九）：Doris数据导出 - MySQL dump导出
qq_32020645的博客
10-11 1271
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。mysqldump是一个常用的 MySQL 数据库备份工具，它可以将 MySQL 数据库中的数据导出为 SQL 格式的文件，从而实现对数据的备份、迁移和恢复等操作。Doris 在0.15 之后的版本已经支持通过mysqldump 工具导出数据或者表结构。
Doris通过阿里云OSS导出导入
m0_73193173的博客
05-23 524
Doris通过阿里云OSS导出导入
Doris导出查询结果集
weixin_42326851的博客
02-22 363
Doris导出查询结果集
Doris之如何将oss的表数据导入到doris的表中并完成调度
不吃鱼的cat的博客
12-14 2256
Doris之如何将oss的表数据导入到doris的表中中并完成调度 前言：写入doris的脚本可以看我之前写的写入doris分区表详解 问题: 当你把oss地址配好，运行脚本成功后，去doris的目标库中执行 show load 就会发现导入失败，提示使用broker拉取文件只支持hdfs AFS BOS三种方式 原因：现在很多公司为了降低成本使用oss替换hdfs存储文件，因为表的文件块在oss存储，所以需求由hdfs 到 doris 变成了oss 到doris 现在想通过broker从oss上拉取表到d
Doris 导出表结构或数据
eagle89的专栏
09-18 932
Doris 导出表结构或数据
Apache Doris 入门教程18：数据导出
sunjian286的专栏
07-30 1015
本文简要介绍如何在Apache Doris中进行数据导出
Apache Doris (三十八）：Doris数据导出 - Select...into outfile导出
qq_32020645的博客
10-10 161
🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Select...into outfile 用于将Doris查询结果导出为文件，其原理是通过Borker进程，使用S3或者HDFS协议将Doris查询结果导出到远端存储，如:HDFS、S3、COS(腾讯云)上。
Doris（18）：数据导出
u013938578的博客
04-29 1293
数据导出（Export）是 Doris 提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据，以文本的格式，通过 Broker 进程导出到远端存储上，如 HDFS/BOS 等。
Doris（2）：Doris编译部署
u013938578的博客
04-11 779
这个是官方文档推荐的，可以非常方便顺利的编译源码，如果需要快速部署的，可以使用这种方式。这种方式的优点就是不用配置环境变量，也不用考虑各种版本问题，进入开发镜像系统后直接下载 doris 源码编译即可。将容器中的maven下载的包保存到宿主机本地指定的文件中，避免重复下载，同时会将编译的Doris文件保存到宿主机本地指定的文件，方便部署。拉取Doris官方提供的Docker镜像，目前可用版本有：build-env、build-env-1.1、build-env-1.2。开启之后, 就在容器内了。
Doris-04-数据导入和导出&数据备份和恢复
迷雾总会解
06-23 3651
导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过Mysql 客户端查询数据。为适配不同的数据导入需求，Doris 系统提供了 6 种不同的导入方式。每种导入方式支持不同的数据源，存在不同的使用方式（异步，同步）。所有导入方式都支持 csv 数据格式。其中 Broker load 还支持 parquet 和 orc 数据格式。（1）适用场景源数据在 Broker 可以访问的存储系统中，如 HDFS。数据量在几十到百 GB 级别。（2）基本原理用户在提交导入任务后，FE
Doris快速备份与恢复
Boring_05的博客
11-08 871
如果该表是动态分区表，备份之后会自动禁用动态分区属性，在做恢复的时候需要手动将该表的动态分区属性启用，命令如下/bin/bash"`doif [[ $db!then$db;
Doris总结-数据导入导出
空城的博客
07-06 3822
Doris导入导出功能总结
Doris进阶——数据导出
weixin_59812175的博客
06-20 1364
Doris的Export
Doris export任务概率性cancelled第二种情况
gaofeng的博客
08-05 1485
报错背景 版本 从百度预编译版v0.13.15至v0.14.12.7都有这个问题 doris 表导入至hive，采用doris的export 报错内容 凌晨的export任务概率性的cancelled show export order by createtime desc; ErrorMsg显示 type:RUN_FAIL; msg:export exporting job fail. query id: bc2db4bd87dc4893-b40d4025438e10e7, Failed to get
rossmann_sales_prediction.ipynb
09-26
rossmann_sales_prediction.ipynb
基于java的智慧社区设计与实现开题报告.docx
09-26
基于java的智慧社区设计与实现开题报告.docx
基于SuperAGI 专注中文领域的大模型AI应用框架.zip
最新发布
09-26
基于SuperAGI 专注中文领域的大模型AI应用框架.zip
高并发内存池的内存释放流程图
09-26
释放内存过程的调试
Apache Doris：高性能数据分析利器
"《百度Palo-为数据分析而生》是关于百度Palo（Apache Doris）的介绍，它是一款高性能的分析型数据库，专为数据分析设计。Palo后来被贡献给Apache社区，更名为Apache Doris，并在业界得到广泛应用。" Apache Doris...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值