备份doris数据到minio

最新推荐文章于 2023-11-08 14:43:53 发布
最新推荐文章于 2023-11-08 14:43:53 发布
阅读量338 收藏 1
点赞数
文章标签： doris
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuaizai88/article/details/134206359
版权

1、MINIO 设置

        创建服务账户，记住ACCESS_KEY和SECRET_KEY

       创建Buckets doris

   设置region

  

在首页查看服务ip和端口号

2、创建S3备份库

  因为minio是兼容S3协议的，所以可以通过s3协议链接minio。

CREATE REPOSITORY `minio`
WITH S3
ON LOCATION "s3://doris"
PROPERTIES
(
    "AWS_ENDPOINT" = "http://192.168.0.3:9000", //端口一定不要错
    "AWS_ACCESS_KEY" = "BOT1B02JT5TVX3AS8QKB",
    "AWS_SECRET_KEY"="aOuyKjdrS6DVlhgvFpk6gi7UC6fKZI8GCsA2SHo6",
    "AWS_REGION" = "us-east-1",//和上面minio设置的region保持一致
    "use_path_style" = "true"
)

3、备份和恢复操作

其他操作应该没啥坑了，可以参考这里：

数据备份 - Apache Doris

陕西小伙伴网络科技有限公司
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Doris 用户案例集
06-05
过去的一年势必是 Apache Doris 在发展历程中有着浓墨重彩的一年，凭借对技术创新的执着与用户体验的追求，Apache Doris 已俘获全球范围内超过 2000 家企业的认可，拥有了极为广泛的用户规模、在企业实时数据分析的多种场景中得到广泛应用，并在广大社区用户和开发者的支持下，一举成为全球数据库和大数据领域最为活跃的开源项目之一。 为了帮助更多人更好地使用 Apache Doris ，我们从过去一年间 Apache Doris 在互联网、金融、物流、零售等众多行业的用户应用实践中，精心挑选出更具代表性和更具启发意义的最佳实践，并收录在《Apache Doris 用户案例集》中。 20+ 万字技术干货，赋能企业构建高性能实时数据仓库，欢迎大家下载阅读！
Doris总结-数据导入导出
空城的博客
07-06 3657
Doris导入导出功能总结
自建minio实现doris的快速备份与恢复
bigdata_player
05-15 2153
doris支持通过腾讯云bos、阿里云oss、hdfs实现备份与恢复，但是我们公司doris部署在线下机房，如采用oss/bos, 大数据备份与恢复比较慢，会占用一定的带宽，如采用hdfs，担心小文件太多影响现有的hadoop集群。为了保险起见，而且能够达到快速的备份恢复，我们实现自主搭建一套minio对象存储。
基于Flink+Doris构建高性能高扩展的全端实时数据仓库视频教程
06-21
基于Flink+Doris构建高性能高扩展的全端实时数据仓库视频教程 课程具体数仓报表应用指标包括：实时大屏分析、流量分析、订单分析、商品分析、商家分析等，数据涵盖全端（PC、移动、小程序）应用，与互联网企业大数据技术同步，让大家能够学到大数据企业级实时数据仓库的实战经验。
doris数据分析教程
04-08
│ 01-课程学习目标.mp4 │ 02-Doris的简介.mp4 │ 03-Doris的核心特性.mp4 │ 04-Doris的发展历程.mp4 │ 05-OLTP和OLAP的区别.mp4 │ 06-OLAP存储引擎的分类.mp4 │ 07-Doris的应用场景和使用企业.mp4! │ 08-Doris的架构-极简架构.mp4 │ 09-Doris的安装部署-Doris编译-准备.mp4 │ 10-Doris的安装部署-Doris编译-安装.mp4 │ 11-Doris的安装部署-Doris编译-实现.mp4; │ 12-Doris的安装部署-Doris编译-导出.mp4 │ 13-Doris的安装部署-Doris部署-前置介绍.mp4 因字数限制之列一部分目录，一共78节和相关配套资源
Doris系列18-数据导出
只是甲的博客
01-13 1106
文章目录一. 数据导出概述二. 案例2.1 不指定文件2.1 指定文件参考: 一. 数据导出概述 数据导出（Export）是 Doris 提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据，以文本的格式，通过 Broker 进程导出到远端存储上，如 HDFS/BOS 等。 名词解释: FE：Frontend，Doris 的前端节点。负责元数据管理和请求接入。 BE：Backend，Doris 的后端节点。负责查询执行和数据存储。 Broker：Doris 可以通过 Broker 进程对远端存储
Doris快速备份与恢复
Boring_05的博客
11-08 432
如果该表是动态分区表，备份之后会自动禁用动态分区属性，在做恢复的时候需要手动将该表的动态分区属性启用，命令如下/bin/bash"`doif [[ $db!then$db;
Doris之S3 Load
qq_43688472的博客
01-30 808
Doris之S3 Load
Doris数据备份与恢复
TRX的博客
07-16 2934
Doris 支持将当前数据以文件的形式，通过 broker 备份到远端存储系统中，之后可以通过 恢复 命令，从远端存储系统中将数据恢复到任意 Doris 集群。 通过这个功能，可以达到两个目的： 数据备份：Doris 可以支持将数据定期的进行快照备份 数据迁移：Doris 可以根据数据备份的快照将数据恢复到新表或不同集群间的表 一、基本原理 备份（Backup） 备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。Backup命令为异步操作，提交成功后需
Doris-04-数据导入和导出&数据备份和恢复
迷雾总会解
06-23 2351
导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过Mysql 客户端查询数据。为适配不同的数据导入需求，Doris 系统提供了 6 种不同的导入方式。每种导入方式支持不同的数据源，存在不同的使用方式（异步，同步）。所有导入方式都支持 csv 数据格式。其中 Broker load 还支持 parquet 和 orc 数据格式。（1）适用场景源数据在 Broker 可以访问的存储系统中，如 HDFS。数据量在几十到百 GB 级别。（2）基本原理用户在提交导入任务后，FE
基于Flink+Doris构建电商实时数据分析平台（PC、移动、小程序）
05-19
本课程基于真实热门的互联网电商业务场景为案例讲解，具体分析指标包含：AB版本分析，下砖分析，营销分析，订单分析，终端分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。
从ApacheDoris到SelectDBCloud下一代
11-08
从ApacheDoris到SelectDBCloud下一代云原生实时数仓的架构演进之路共38页.pdf.zip
Doris数据备份恢复与节点扩缩容教程
02-28
Doris备份恢复扩缩容知识点的整理，可以用于培训和学习。 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。 Apache Doris 最早是诞生于百度广告报表业务的 Palo 项目，2017 年正式对外开源，2018 年 7 月由百度捐赠给 Apache 基金会进行孵化，之后在 Apache 导师的指导下由孵化器项目管理委员会成员进行孵化和运营。目前 Apache Doris 社区已经聚集了来自不同行业数百家企业的 400 余位贡献者，并且每月活跃贡献者人数也超过 100 位。 2022 年 6 月，Apache Doris 成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目（Top-Level
DORIS数据格式
09-04
描述DORIS数据格式https://passport.csdn.net/account/login?username=stonespark&activeCode=a4f6c6944b0703709050f5823a827923&service=http%3A%2F%2Fdownload.csdn.net%2Fdownload%2Fgaopu126%2F1494862
Flink同步Hdfs数据到doris
10-19
Flink同步Hdfs数据到doris
关于__Federico Milano 的电力系统分析工具箱.zip
04-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
mlab-upenn 研究小组的心脏模型模拟.zip
04-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
混合图像创建大师matlab代码.zip
最新发布
04-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
中序遍历二叉树-java版本
04-26
在Java中，实现二叉树的中序遍历同样可以通过递归来完成。中序遍历的顺序是：首先递归地中序遍历左子树，然后访问根节点，最后递归地中序遍历右子树。 在这段代码中，Node类定义了二叉树的节点，BinaryTree类包含一个指向根节点的指针和inOrder方法，用于递归地进行中序遍历。printInOrder方法调用inOrder方法并打印出遍历的结果。 在Main类中，我们创建了一个示例二叉树，并调用printInOrder方法来输出中序遍历的结果。输出应该是：4 2 5 1 3，这表示中序遍历的顺序是左子树（4），然后是根节点（2），接着是右子树的左子树（5），然后是右子树的根节点（1），最后是右子树的右子树（3）。
doris数据备份迁移
05-17
Doris 数据备份迁移的步骤如下： 1. 创建备份：使用 Doris 的备份命令，将数据备份到指定的目录中，比如： ``` ./doris backup -t db_name -d /backup_dir ``` 其中，`db_name` 是要备份的数据库名称，`/backup_dir` 是备份文件存放的目录。 2. 备份迁移：将备份文件从源服务器迁移到目标服务器。可以使用 `scp` 命令或其他文件传输工具进行迁移。 ``` scp backup_file.tar.gz user@remote_host:/backup_dir ``` 其中，`backup_file.tar.gz` 是备份文件压缩包，`user` 是目标服务器的用户名，`remote_host` 是目标服务器的 IP 地址，`/backup_dir` 是备份文件存放的目录。 3. 恢复备份：在目标服务器上使用 Doris 的恢复命令，将备份文件恢复到 Doris 数据库中。 ``` ./doris restore -t db_name -d /backup_dir/backup_file.tar.gz ``` 其中，`db_name` 是要恢复的数据库名称，`/backup_dir/backup_file.tar.gz` 是备份文件的完整路径。 注意：在进行 Doris 数据备份迁移时，需要保证源服务器和目标服务器的 Doris 版本一致，并且备份文件的路径和名称要保持一致。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值