OceanBase 日志盘过小也会导致创建租户失败？

最新推荐文章于 2024-09-13 22:15:00 发布
最新推荐文章于 2024-09-13 22:15:00 发布
阅读量284 收藏 3
点赞数 3
文章标签： mysql oceanbase 数据库 ActionDB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ActionTech/article/details/141063835
版权

强烈建议OB日志盘大小是内存规格的3倍或以上。

作者：郑增权，爱可生 DBA 团队成员，OceanBase 和 MySQL 数据库技术爱好者。

爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

本文约 1300 字，预计阅读需要 5 分钟。

背景

某客户基于节约资源的想法，将日志盘设置的比较小，日志盘大小约为集群内存规格的1.5倍，当创建租户时，CPU和内存都充足的情况下，却存在报错"LOG_DISK resource not enough"，我们尝试复现问题并定位原因。

环境信息

  • 架构：单节点集群
  • 版本：OceanBase：4.2.1.4
MySQL [oceanbase]> select svr_ip,status,build_version from __all_server;
+--------------+--------+-------------------------------------------------------------------------------------------+
| svr_ip       | status | build_version                                                                             |
+--------------+--------+-------------------------------------------------------------------------------------------+
| 10.186.64.61 | ACTIVE | 4.2.1.4_104010012024030714-c4f3400ad2839e337bc9dab5d1bfe1d01134a1d7(Mar  7 2024 14:32:22) |
+--------------+--------+-------------------------------------------------------------------------------------------+
1 row in set (0.01 sec)

查看集群可分配的 CPU、内存、日志盘容量。

  • MEM_CAPACITY：observer 进程可用的内存大小
  • LOG_DISK_CAPACITY：日志盘空间总大小，41.8GB
  • LOG_DISK_ASSIGNED：日志盘已分配大小，6GB
  • 剩余可分配 CPU 数量：18-2=16C
  • 剩余可分配内存大小：24-2=22GB
MySQL [oceanbase]> SELECT SVR_IP, SVR_PORT , ZONE , SQL_PORT , CPU_CAPACITY , CPU_CAPACITY_MAX, CPU_ASSIGNED , CPU_ASSIGNED_MAX ,MEMORY_LIMIT/1024/1024/1024 MEMORY_LIMIT_GB , MEM_CAPACITY/1024/1024/1024 MEM_CAPACITY_GB, MEM_ASSIGNED/1024/1024/1024 MEM_ASSIGNED_GB ,LOG_DISK_CAPACITY/1024/1024/1024 LOG_DISK_CAPACITY_GB,LOG_DISK_ASSIGNED/1024/1024/1024 LOG_DISK_ASSIGNED_GB,LOG_DISK_IN_USE/1024/1024/1024 LOG_DISK_IN_USE_GB  FROM GV$OB_SERVERS;
+--------------+----------+-------+----------+--------------+------------------+--------------+------------------+-----------------+-----------------+-----------------+----------------------+----------------------+--------------------+
| SVR_IP       | SVR_PORT | ZONE  | SQL_PORT | CPU_CAPACITY | CPU_CAPACITY_MAX | CPU_ASSIGNED | CPU_ASSIGNED_MAX | MEMORY_LIMIT_GB | MEM_CAPACITY_GB | MEM_ASSIGNED_GB | LOG_DISK_CAPACITY_GB | LOG_DISK_ASSIGNED_GB | LOG_DISK_IN_USE_GB |
+--------------+----------+-------+----------+--------------+------------------+--------------+------------------+-----------------+-----------------+-----------------+----------------------+----------------------+--------------------+
| 10.186.64.61 |     2882 | zone1 |     2881 |           18 |               18 |            2 |                2 | 30.000000000000 | 24.000000000000 |  2.000000000000 |      41.875000000000 |       6.000000000000 |     0.125000000000 |
+--------------+----------+-------+----------+--------------+------------------+--------------+------------------+-----------------+-----------------+-----------------+----------------------+----------------------+--------------------+
1 row in set (0.00 sec)

可以看到当前集群仅 sys 租户占用了 2C2G 的资源。

MySQL [oceanbase]> SELECT a.tenant_name,a.tenant_id,b.name unit_config,c.name pool_name,b.max_cpu,b.min_cpu,MEMORY_SIZE/1024/1024/1024 as MEMORY_SIZE
-> FROM
-> OCEANBASE.DBA_OB_TENANTS a,
-> OCEANBASE.DBA_OB_UNIT_CONFIGS b,
-> OCEANBASE.DBA_OB_RESOURCE_POOLS c
-> WHERE a.tenant_id=c.tenant_id
-> AND b.unit_config_id = c.unit_config_id
-> ORDER BY a.tenant_id desc;
+-------------+-----------+-------------------------------+-----------+---------+---------+----------------+
| tenant_name | tenant_id | unit_config                   | pool_name | max_cpu | min_cpu | MEMORY_SIZE    |
+-------------+-----------+-------------------------------+-----------+---------+---------+----------------+
| sys         |         1 | config_sys_zone1_twoctwog_xio | sys_pool  |       2 |       2 | 2.000000000000 |
+-------------+-----------+-------------------------------+-----------+---------+---------+----------------+
1 row in set (0.01 sec)

报错复现及疑问

创建租户

尝试创建 1 个规格为 4C12G 的租户。

MySQL [oceanbase]> CREATE RESOURCE UNIT mem_test_unit MEMORY_SIZE = '12G',MAX_CPU = 4, MIN_CPU = 4;
Query OK, 0 rows affected (0.02 sec)

创建资源池

存在报错：LOG_DISK resource not enough

MySQL [oceanbase]> CREATE RESOURCE POOL pool_evan UNIT='mem_test_unit', UNIT_NUM=1, ZONE_LIST=('zone1');
ERROR 4733 (HY000): zone 'zone1' resource not enough to hold 1 unit. You can check resource info by views: DBA_OB_UNITS, GV$OB_UNITS, GV$OB_SERVERS.
server '"10.186.64.61:2882"' LOG_DISK resource not enough

问题 1

剩余资源为 16C 22GB，为何创建一个 4C 12GB 的资源池会失败？

问题 2

报错有关 LOG_DISK ，日志盘容量与内存规格存在何种关联？

日志盘大小与租户内存大小的关系

尝试新建规格为 1C1G 的租户，分析租户内存大小与日志盘容量分配的规律。

  1. 新建规格为 1C1G 的租户。
  2. LOG_DISK_ASSIGNED_GB 增长至 9G，相较之前增加了 3G。
MySQL [oceanbase]> CREATE RESOURCE UNIT unit_1g MEMORY_SIZE = '1G',MAX_CPU = 1, MIN_CPU = 1;
Query OK, 0 rows affected (0.01 sec)
MySQL [oceanbase]> CREATE RESOURCE POOL pool_1g UNIT='unit_1g', UNIT_NUM=1, ZONE_LIST=('zone1');
Query OK, 0 rows affected (0.02 sec)
MySQL [oceanbase]> CREATE TENANT IF NOT EXISTS tenant_1g
    ->                 PRIMARY_ZONE = 'zone1',
    ->                 RESOURCE_POOL_LIST=('pool_1g')
    ->                 set OB_TCP_INVITED_NODES='%';
Query OK, 0 rows affected (26.05 sec)
MySQL [oceanbase]> 
MySQL [oceanbase]> SELECT SVR_IP, SVR_PORT , ZONE , SQL_PORT , CPU_CAPACITY ,CPU_ASSIGNED ,MEMORY_LIMIT/1024/1024/1024 MEMORY_LIMIT_GB , MEM_CAPACITY/1024/1024/1024 MEM_CAPACITY_GB, MEM_ASSIGNED/1024/1024/1024 MEM_ASSIGNED_GB ,LOG_DISK_CAPACITY/1024/1024/1024 LOG_DISK_CAPACITY_GB,LOG_DISK_ASSIGNED/1024/1024/1024 LOG_DISK_ASSIGNED_GB  FROM GV$OB_SERVERS;
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
| SVR_IP       | SVR_PORT | ZONE  | SQL_PORT | CPU_CAPACITY | CPU_ASSIGNED | MEMORY_LIMIT_GB | MEM_CAPACITY_GB | MEM_ASSIGNED_GB | LOG_DISK_CAPACITY_GB | LOG_DISK_ASSIGNED_GB |
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
| 10.186.64.61 |     2882 | zone1 |     2881 |           18 |            3 | 30.000000000000 | 24.000000000000 |  3.000000000000 |      41.875000000000 |       9.000000000000 |
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
1 row in set (0.00 sec)

小结

每为租户分配 1GB 内存，则对应的分配 3GB 日志盘容量。

代入本文初始环境计算

计算公式

本文初始背景集群剩余内存规格计算：

(LOG_DISK_CAPACITY_GB - LOG_DISK_ASSIGNED_GB) / 3 =（41.875 - 6.00）/ 3 ≈ 11.958 GB

即，集群剩余可用的内存上限为 11.958GB，取整数为 11GB。

验证

释放资源

删掉租户 tenant_1g 和对应的 RESOURCE POOL 释放资源。

MySQL [oceanbase]> DROP TENANT tenant_1g;
Query OK, 0 rows affected (35.04 sec)
MySQL [oceanbase]> DROP RESOURCE POOL pool_1g;
Query OK, 0 rows affected (0.01 sec)
MySQL [oceanbase]> SELECT SVR_IP, SVR_PORT , ZONE , SQL_PORT , CPU_CAPACITY ,CPU_ASSIGNED ,MEMORY_LIMIT/1024/1024/1024 MEMORY_LIMIT_GB , MEM_CAPACITY/1024/1024/1024 MEM_CAPACITY_GB, MEM_ASSIGNED/1024/1024/1024 MEM_ASSIGNED_GB ,LOG_DISK_CAPACITY/1024/1024/1024 LOG_DISK_CAPACITY_GB,LOG_DISK_ASSIGNED/1024/1024/1024 LOG_DISK_ASSIGNED_GB  FROM GV$OB_SERVERS;
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
| SVR_IP       | SVR_PORT | ZONE  | SQL_PORT | CPU_CAPACITY | CPU_ASSIGNED | MEMORY_LIMIT_GB | MEM_CAPACITY_GB | MEM_ASSIGNED_GB | LOG_DISK_CAPACITY_GB | LOG_DISK_ASSIGNED_GB |
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
| 10.186.64.61 |     2882 | zone1 |     2881 |           18 |            2 | 30.000000000000 | 24.000000000000 |  2.000000000000 |      41.875000000000 |       6.000000000000 |
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
1 row in set (0.00 sec)

重新创建

创建一个规格为 16C11G 的租户。

MySQL [oceanbase]> CREATE RESOURCE UNIT unit_11g MEMORY_SIZE = '11G',MAX_CPU = 16, MIN_CPU = 16;
Query OK, 0 rows affected (0.01 sec)
MySQL [oceanbase]>  CREATE RESOURCE POOL pool_11g UNIT='unit_11g', UNIT_NUM=1, ZONE_LIST=('zone1');
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> CREATE TENANT IF NOT EXISTS tenant_11g
    ->                 PRIMARY_ZONE = 'zone1',
    ->                 RESOURCE_POOL_LIST=('pool_11g')
    ->                 set OB_TCP_INVITED_NODES='%';
Query OK, 0 rows affected (25.99 sec)
MySQL [oceanbase]> SELECT SVR_IP, SVR_PORT , ZONE , SQL_PORT , CPU_CAPACITY ,CPU_ASSIGNED ,MEMORY_LIMIT/1024/1024/1024 MEMORY_LIMIT_GB , MEM_CAPACITY/1024/1024/1024 MEM_CAPACITY_GB, MEM_ASSIGNED/1024/1024/1024 MEM_ASSIGNED_GB ,LOG_DISK_CAPACITY/1024/1024/1024 LOG_DISK_CAPACITY_GB,LOG_DISK_ASSIGNED/1024/1024/1024 LOG_DISK_ASSIGNED_GB  FROM GV$OB_SERVERS;
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
| SVR_IP       | SVR_PORT | ZONE  | SQL_PORT | CPU_CAPACITY | CPU_ASSIGNED | MEMORY_LIMIT_GB | MEM_CAPACITY_GB | MEM_ASSIGNED_GB | LOG_DISK_CAPACITY_GB | LOG_DISK_ASSIGNED_GB |
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
| 10.186.64.61 |     2882 | zone1 |     2881 |           18 |           18 | 30.000000000000 | 24.000000000000 | 13.000000000000 |      41.875000000000 |      39.000000000000 |
+--------------+----------+-------+----------+--------------+--------------+-----------------+-----------------+-----------------+----------------------+----------------------+
1 row in set (0.01 sec)

疑问解答

下面我们来解答上面提出的两个疑问。

问题 1

剩余资源为 16C 22GB，为何创建一个 4C 12GB 的资源池会失败？

答：

  1. 由于日志盘规格为 41.875GB，且 sys 租户已占用 6GB 日志盘份额，经前文计算可得：集群剩余可用的内存上限为 11GB。

  2. 建租户内存规格超过 11GB 会因申请不到对应份额的日志盘容量而引发报错 LOG_DISK resource not enough。

问题 2

报错有关 LOG_DISK ，日志盘容量与内存规格存在何种关联？

答：LOG_DISK_SIZE：默认值为内存规格值的 3 倍，最小值为 2G。

建议

日志盘大小尽量设置为内存上限的 3 或 4 倍（生产环境至少是 3 倍），避免因日志盘不足导致集群已有的内存无法进行分配。

参考资料

  1. 《GV$OB_SERVERS》：https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000001051773
  2. 《ALTER RESOURCE UNIT》：https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000220301

更多技术文章，请访问：https://opensource.actionsky.com/

关于 SQLE

SQLE 是一款全方位的 SQL 质量管理平台，覆盖开发至生产环境的 SQL 审核和管理。支持主流的开源、商业、国产数据库，为开发和运维提供流程自动化能力，提升上线效率，提高数据质量。

✨ Github：https://github.com/actiontech/sqle

📚 文档：https://actiontech.github.io/sqle-docs/

💻 官网：https://opensource.actionsky.com/sqle/

👥 微信群：请添加小助手加入 ActionOpenSource

🔗 商业支持：https://www.actionsky.com/sqle

爱可生开源社区
关注
OceanBase 分布式数据库【信创/国产化】- 登录 OceanBase 租户
简简单单Onlinezuozuo
04-28 636
OceanBase 数据库（OceanBase Database）是一款完全自研的企业级原生分布式数据库，在普通硬件上实现金融级高可用，首创“三地五中心”城市级故障自动无损容灾新标准，刷新 TPC-C 标准测试，单集群规模超过 1500 节点，具有云原生、强一致性、高度兼容 Oracle/MySQL 等特性。OceanBase 是蚂蚁集团开发2010 年研发完成，2020 年蚂蚁成立全资公司“北京奥星贝斯科技有限公司”独立运营OceanBase 特性原生分布式架构金融级高可用透明水平扩展。
OceanBase 分布式数据库【信创/国产化】- OceanBase 通过 MySql 客户端连接 OceanBase 租户
简简单单Onlinezuozuo
04-27 477
OceanBase 数据库（OceanBase Database）是一款完全自研的企业级原生分布式数据库，在普通硬件上实现金融级高可用，首创“三地五中心”城市级故障自动无损容灾新标准，刷新 TPC-C 标准测试，单集群规模超过 1500 节点，具有云原生、强一致性、高度兼容 Oracle/MySQL 等特性。OceanBase 是蚂蚁集团开发2010 年研发完成，2020 年蚂蚁成立全资公司“北京奥星贝斯科技有限公司”独立运营OceanBase 特性原生分布式架构金融级高可用透明水平扩展。
实践练习一（必选）：OceanBase Docker 体验
m0_55146438的博客
02-19 1262
总是听闻ob的大名，今天第一次进行实践，真是令人兴奋。在创建resource pool的时候，报了资源不足的问题，通过报错提示进行了解决，也简单记录了下。第一部分：实践内容第二部分：问题复现及解决。
手动部署OceanBase集群（单zone）
ka7iu的博客
03-14 1687
薅OBCP考试券的社区活动本次实验：手动部署OceanBase。单节点的OBserver+OBProxy虚拟机配置：4C12G。
OceanBase Docker 部署&使用
夏洛的克
01-31 3375
OceanBase Docker 部署&使用
实践：OBD部署源码编译OceanBase社区版本
一叶舟的专栏
06-04 1076
MySQL OceanBase TiDB 与在体系架构上的差别非常大，很多方面都很难找到一个共同的基准点，尤其是单机情况下,所以大家不要消耗过多精力在这类基准测试上,应该更多关注 在应用程序使用场景上的区别。OB（分布式）,TiDB 与 MySQL （偏向单机）在体系架构上的差别非常大，很多方面都很难找到一个共同的基准点，所以大家不要消耗过多精力在这类基准测试上，应该更多关注 在应用程序使用场景上的区别.采用Sysbench进行测试，为后续开发寻找性能瓶颈做准备，不是纯粹的跑分，也没有过多优化参数。
CentOS7.9上OceanBase4.0 Docker容器的快速部署
weixin_42337395的博客
03-15 1812
创建资源单元 U2C4G 配置为 2 个 CPU，4G 内存，128- 个 IOPS，10G 日志盘。一、CentOS7.9上OceanBase4.0 Docker容器的快速部署。一台8C16G100G的虚拟机，系统是CentOS7.9。修改租户的root密码，下次登录后需要输入密码。将U2C4G调小为2G后重新创建资源池成功。登录obmysql租户，默认密码为空。查看oceanbase镜像。创建资源池时报错，内存不足。安装docker-ce。安装所需要的系统工具。启动docker服务。
OceanBase 2.2 ORACLE租户开发者指南.pdf
04-15
OceanBase 2.2 的租户（实例）兼容 ORACLE 和 MySQL 两种语法，这是 ORACLE 租户的开发者指南，方便开发同学学习和使用 OceanBase。 文档保存在：https://github.com/obpilot/ob-docs/tree/master/developer 后期会...
OceanBase 2.2 MySQL租户开发者指南.pdf
04-15
OceanBase 2.2 MySQL 租户开发者指南，方便开发同学了解使用 OceanBase 的 MySQL 租户（实例）。 文档后期更新在：https://github.com/obpilot/ob-docs/tree/master/developer 。
Oceanbase-all-in-one-4.2.0.0一键安装包
09-20
5. **初始化系统**：创建OceanBase的系统表和用户，分配权限。 6. **启动服务**：启动OceanBase的服务进程，包括主控节点、数据节点等。 7. **验证安装**：安装完成后，通过SQL查询工具验证OceanBase的运行状态和...
手动部署 OceanBase 集群（三副本）
转角遇到癫古的博客
02-15 2521
通过以下练习可以掌握 OceanBase 集群的手动部署技能，理解进程的相关目录、集群初始化、OBProxy和 OB 集群关系等。
linux磁盘空间不足解决方法
weixin_47133613的博客
08-10 3565
原文链接：linux磁盘空间不足解决方法 一个之前运行好好的服务突然挂掉了，可能的原因有两个，一是磁盘满了，二是内存满了。 这里只介绍磁盘空间不足的解决办法 1.首先确定是否是磁盘空间不足 输入命令：df –h 查看磁盘信息 很明显：Filesystem下的挂载点 /dev/xvda1 下的40G容量已经耗尽。 这时最简单的办法就是找到大且无用的文件并删除，首选就是log文件。 2.输入命令：du -h --max-depth=1 寻找当前目录，哪个文件夹占用空间最大 不知道的童鞋可以使用此命令一层一层的
离线使用OBD本地部署单节点OceanBase
lljddddd的博客
10-31 836
使用OBD本地部署单副本单节点OceanBase
技术分享 | OceanBase 错误日志分析
ActionTech的博客
10-21 1968
作者：操盛春技术专家，任职于爱可生，专注研究 MySQL、Ocean Base 源码。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。OceanBase 运行时会产生很多各种级别的日志，如果出现了错误，想要从数量繁多的错误日志中定位到错误原因，是件不太容易的事。错误日志是我们定位错误原因的主要途径，本文我们就来聊聊怎么从 OceanBase 错误日志中找到我们想要的错误信息。
OceanBase 学习2：如何查看与修改租户的资源配置？
W9071186的博客
01-18 893
1
MySQL: ERROR13(HY000):Can't get stat of的问题
weixin_33759269的博客
10-12 666
在LOAD DATA INFILE插入大数据量时，出现MySQL: ERROR13(HY000):Can't get stat of的问题 但是将LOAD DATA INFILE 换成 LOAD DATA LOCAL INFILE OK！ 原因分析：出于安全原因，当读取位于服务器中的文本文件时，文件必须位于目录中，或者是全体可读的。另外...
Oceanbase数据库管理-集群部署
oradbm的博客
10-22 3417
本文摘自(OBCA)培训资料 （1）实验环境 基于3台pc服务器部署Oceanbase集群。 创建一个租户，资源池为4C 10G，每个zone有这么一个资源。 检查集群状态。 查看系统参数和变量。 创建和管理用户 查看系统日志 ## （2）安装步骤 安装OAT，装机模板程序，需要在所有服务器安装OAT的rpm包。 rpm -ivh t-oceanbase-antman-1.3.3-1896174.alios.x86-64。。。。.rpm 登录每台服务器，添加admin用户。设置操作系统内核、安
MySQL中几种常见的行格式
最新发布
weixin_45923633的博客
09-13 105
动态格式会根据行中数据的实际大小动态地调整行的存储方式。如果行中的某个字段是变长的，那么这个字段的实际数据将被存储在行的末尾，而不会在行的开头占用固定的空间。这种格式适用于所有列都是固定长度的情况，可以提供最快的访问速度，但可能会浪费存储空间。：紧凑格式试图减少内部碎片，使得行的平均大小变小，从而在一个数据页中可以存储更多的行。：页面格式是一种较新的行存储格式，它旨在提高大表的访问性能和存储效率。是用来指定表中行的存储格式的属性。不同的行格式会影响数据的存储方式，进而影响存储空间的使用效率和访问性能。
OceanBase Docker 部署全攻略：从准备到创建租户
"OceanBase Docker 部署手册，版本0.1.1_20230301，提供了在Linux环境和Docker容器中部署OceanBase数据库的详细步骤，包括OceanBase介绍、服务器准备、软件下载、Docker部署和租户创建等关键环节。" OceanBase是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值