Doris 升级手册

最新推荐文章于 2024-04-18 11:37:55 发布

本旺

最新推荐文章于 2024-04-18 11:37:55 发布

阅读量723

点赞数 2

分类专栏：大数据文章标签：大数据 database flink

本文链接：https://blog.csdn.net/weixin_39750695/article/details/131558033

版权

大数据专栏收录该内容

11 篇文章 2 订阅

订阅专栏

说明

Doris 可以通过滚动升级的方式，平滑进行升级。建议按照以下步骤进行安全升级。
Doris不支持跨两位版本号进行升级，例如：不能从0.13直接升级到0.15，只能通过0.13.x -> 0.14.x -> 0.15.x，三位版本号可以跨版本升级，比如从0.13.15可以直接升级到0.14.13.1，不必一定要升级0.14.7 或者 0.14.12.1这种版本。具体版本差距可以在官网查询。

这里升级为 1.2.1 -> 2.0 版本

前置工作

关闭集群副本修复和均衡功能

升级过程中会有节点重启，所以可能会触发不必要的集群均衡和副本修复逻辑。可以先通过以下命令关闭：

# 关闭副本均衡逻辑。关闭后，不会再触发普通表副本的均衡操作。
$ mysql-client > admin set frontend config("disable_balance" = "true");

# 关闭 colocation 表的副本均衡逻辑。关闭后，不会再触发 colocation 表的副本重分布操作。
$ mysql-client > admin set frontend config("disable_colocate_balance" = "true");

# 关闭副本调度逻辑。关闭后，所有已产生的副本修复和均衡任务不会再被调度。
$ mysql-client > admin set frontend config("disable_tablet_scheduler" = "true");

当集群升级完毕后，在通过以上命令将对应配置设为原值即可。

在升级之前需要备份元数据（整个目录都需要备份）！！

升级

BE 节点

任意选择一个 BE 节点，部署最新的 doris_be 二进制文件。
重启 BE 节点，通过 BE 日志 be.INFO，查看是否启动成功。
如果启动失败，可以先排查原因。如果错误不可恢复，可以直接通过 DROP BACKEND 删除该 BE、清理数据后，使用上一个版本的 doris_be 重新启动 BE。然后重新 ADD BACKEND。（该方法会导致丢失一个数据副本，请务必确保3副本完整的情况下，执行这个操作！！！）
安装 Java UDF 函数 1.2.0 版本后需要，安装 Java UDF 函数：, 因为从1.2 版本开始支持Java UDF 函数，需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则可能会启动失败。

测试升级启动成功。

测试 FE 元数据兼容性

重要！!元数据兼容性异常很可能导致数据无法恢复！！
单独使用新版本部署一个测试用的 FE 进程（建议在自己本地的开发机，或者BE节点。如果在Follower或者Observer节点上，需要停止启动的进程,但是不建议在Follower或者Observer节点上测试）。
修改测试用的 FE 的配置文件 fe.conf，将所有端口设置为与线上不同。
在 fe.conf 添加配置：cluster_id=123456
在 fe.conf 添加配置：metadata_failure_recovery=true
拷贝线上环境 Master FE 的元数据目录 doris-meta 到测试环境
将拷贝到测试环境中的 doris-meta/image/VERSION 文件中的 cluster_id 修改为 123456（即与第3步中相同）

在测试环境中，运行 sh bin/start_fe.sh 启动 FE
通过 FE 日志 fe.log 观察是否启动成功。这里可以正常启动应该就没问题至于某些节点拒绝链接可以忽略
如果启动成功，运行 sh bin/stop_fe.sh 停止测试环境的 FE 进程。
以上 2-6 步的目的是防止测试环境的FE启动后，错误连接到线上环境中。

测试升级 FE 成功。

升级准备

在完成数据正确性验证后，将 BE 和 FE 新版本的二进制文件分发到各自目录下。
原则上版本升级需要替换 FE 和 BE 除 conf 目录、数据目录（FE 的 doris-meta，BE 的 storage）、log 目录外的其他目录。

升级

确认新版本的文件部署完成后。逐台重启 FE 和 BE 实例即可。
建议逐台重启 BE 后，再逐台重启 FE。因为通常 Doris 保证 FE 到 BE 的向后兼容性，即老版本的 FE 可以访问新版本的 BE。但可能不支持老版本的 BE 访问新版本的 FE。
建议确认前一个实例启动成功后，再重启下一个实例。实例启动成功的标识，请参阅安装部署文档。