openGauss MOT本地内存和全局内存

最新推荐文章于 2024-06-13 08:37:22 发布
最新推荐文章于 2024-06-13 08:37:22 发布
阅读量200 收藏 8
点赞数 4
文章标签： java 数据库 redis openGauss
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/renxyz/article/details/138318580
版权

MOT本地内存和全局内存

SILO管理本地内存和全局内存，如所示。

  • 全局内存是所有核共享的长期内存，主要用于存储所有的表数据和索引。
  • 本地内存是短期内存，主要由会话使用，用于处理事务及将数据更改存储到事务内存中，直到提交阶段。

当事务需要更改时，SILO将该事务的所有数据从全局内存复制到本地内存。使用OCC方法，全局内存中放置的是最小的锁，因此争用时间极短。事务更改完成后，该数据从本地内存回推到全局内存中。

本地内存与SILO增强并发控制的基本交互式事务流如下所示：

图 1 私有（本地）内存（每个事务）和全局内存（所有核的所有事务）

具体请参见_Industrial-Strength OLTP Using Main Memory and Many-cores_[对比：磁盘与MOT]。

详情查看：https://opengauss.org
详情查看：https://docs-opengauss.osinfra.cn
renxyz
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
openGauss数据库管理系统-其他
06-13
openGauss是一款开源的关系型数据库管理系统，它具有多核高性能、全链路安全性、智能运维等企业级特性。 openGauss内核早期源自开源数据库PostgreSQL，融合了华为在数据库领域多年的内核经验，在架构、事务、存储引擎、优化器及ARM架构上进行了适配与优化。作为一个开源数据库，期望与广泛的开发者共同构建一个多元化技术的开源数据库社区。 软件特点： 1、高性能 openGauss突破了多核CPU的瓶颈，实现两路鲲鹏128核150万tpmC，内存优化表（MOT）引擎达350万tpmC。 2、数据分区 内部线程共享的关键数据结构进行数据分区，减少加锁访问冲突。比如CLOG就采用分区优化，解决ClogControlLock锁瓶颈。 3、NUMA化内核数据结构 关键数据结构NUMA化分配，减少跨CPU访问。比如全局PGPROC数组按照NUMA Node的数目分为多份，分别在对应NUMA Node上申请内存。解决ProcArrayLock锁瓶颈。 4、绑核优化 把网络中断绑核和后台业务线程绑核区分开，避免运行线程在核间迁移造成的性能不稳定。 5、ARM指令优化 结合ARM平台的原子操作lse进行优化，实现关键互斥变量原子高效操作。 6、SQL BY PASS 通过SQL BY PASS优化SQL执行流程，简化CPU执行开销。 7、高可靠 正常业务负载情况下，RTO小于10秒，降低节点故障导致的业务不可用时间。 8、并行恢复 主机日志传输到备机时，备机日志落盘的同时，发送给重做恢复分发线程，分发线程根据日志类型和日志操作的数据页发给多个并行恢复线程进行日志重做，保证备机的重做速度跟上主机日志的产生速度。这样备机实时处于ready状态，从而实现瞬间故障切换。 9、MOT引擎（Beta发布） 内存优化表（MOT）存储引擎是一个专为多核大内存优化的存储引擎，具有极高的联机事务处理（OLTP）性能和资源利用率。MOT的数据和索引完全存储在内存中，通过NUMA感知执行，算法消除闩锁争用以及查询JIT本地编译，提供低时延数据访问及高效事务执行。更多请参考MOT引擎文档。 10、安全 openGauss支持账号管理，账号认证，口令复杂度检查，账号锁定，权限管理和校验，传输加密，操作 审计等全方位的数据库安全能力，保护业务满足安全要求。 11、易运维 openGauss将AI算法集成到数据库中，减少数据库维护的负担。 12、SQL预测 openGauss根据收集的历史性能数据进行编码和基于深度学习的训练及预测，支持SQL执行时间预测。 13、SQL诊断器 openGauss支持SQL执行语句的诊断器，提前发现慢查询。 14、参数自动调整 openGauss通过机器学习方法自动调整数据库参数，提高调参效率，降低正确调参成本。
OpenGauss的内存优化表MOT
howard_shooter的博客
05-19 723
你所提出的问题，是你理解事物的角度。用问问题的方式理解事物，是很好的方法。提出一个好的问题，即选择一个好的角度，对于理解事物是非常重要的。而为了提出好的问题，必须先学习调查。 最近在研究OpenGauss的MOT的原理，其中事务的并发控制参考了silo，而索引参考了masstree。 silo主要是关于事务的OCC的算法。 相关论文：http://people.csail.mit.edu/stephentu/papers/silo.pdf MOT中，表就是一个大的masstree，事务在访问记录.
OpenGauss MOT 实现技术研究
howard_shooter的博客
06-07 619
第二阶段：对事务读记录集合进行校验——事务运行中，读取的记录包含TID（OpenGauss中是一个全局唯一的64位无符号整数），是这条记录的状态标志，所谓校验，就是比较每条记录的TID和此时的全局内存中，对应记录的TID是否相同，如果不同，说明在这个事务运行过程中，其它事务修改了并提交了这条记录，则本事务终止，如果相同，说明整个事务执行过程到第一阶段为止，没有其它事务修改这条记录，则进入第三阶段。因此，就将写集合修改到全局内存对应的记录，当然还要写redo日志，然后释放锁，commit命令返回。
openGauss MOT内存和存储规划
2301_79720856的博客
04-29 256
除了磁盘表缓冲区和额外的内存，max_process_memory（在postgres.conf中定义）还有足够的容量用于MOT和会话（由mix/max_mot_global_memory和mix/max_mot_local_memory配置）。所有这些都是在传统的基于磁盘的引擎、表和会话所需的内存之外的要求。本节描述了为满足特定应用程序需求，在评估、估计和规划内存和存储容量数量时，需要注意的事项和准则，以及影响所需内存数量的各种数据，例如计划表的数据和索引大小、维持事务管理的内存以及数据增长的速度。
openGauss MOT配置
2301_79720856的博客
04-29 677
当用户会话执行需要大量内存的查询时（例如，使用许多行），大缓冲区存储用于增加此类内存可用的确定级别，并更快地为这个内存请求提供服务。相反，使用non-lazy块目录会额外分配1GB的初始内存，产生略高的性能，并确保在内存损坏期间避免块目录错误。为了避免单个会话占用过多的内存，从而拒绝其他会话的内存，通过该配置项限制小会话的本地内存分配（最大1022KB）。例如，16表示当同一组中的16个事务已由它们的客户端应用程序提交时，则针对16个事务中的每个事务，在磁盘的WAL重做日志中写入一个条目。
mot2bin 拖入即转
03-04
mot2bin 拖入即转
fish-dataset:yolo和市场1501＆mot16
03-31
yolo和市场1501 ** yolo数据集** '''| ——————----- root | └——数据| └—— 01 \ | 000000 —————————————— 00000001.jpg | 00000001.json | 00000002.jpg | 00000002.json └——————...
多个 bin 转 mot 自动化工具
12-20
1，自动化将多个 bin 文件合并成 mot 文件。 2，配置灵活 3，可以配合 keil 使用。
mot和BIN互转工具
11-09
一个MOT和BIN互转的工具,对于查看文件很有帮助
简单的项目部署脚本（转载）
u010230019的博客
06-09 658
有些项目团队喜欢使用docker启动java服务,那么我们同样可以将上述脚本稍做改造,来实现基于shell+docker的简单项目部署能力。可以将核心节点的错误或者失败内容通过webhook发送到对应的告警平台,比如钉钉、飞书机器人等。把~/.ssh/id_rsa.pub内容添加到远程仓库的ssh秘钥中。执行start.sh脚本打包部署。start.sh脚本内容。
Java——简单图书管理系统
m0_74100417的博客
06-09 1467
数据类型变量iffor数组方法类和对象封装继承多态抽象类和接口今天就是把上述知识点全部都用起来 图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理
修改菜品——后端Java
weixin_53717695的博客
06-09 478
修改菜品——后端Java
Spring Boot集成antlr实现词法和语法分析
最新发布
HBLOG
06-13 828
Antlr4 是一款强大的语法生成器工具，可用于读取、处理、执行和翻译结构化的文本或二进制文件。基本上是当前 Java 语言中使用最为广泛的语法生成器工具。Twitter搜索使用ANTLR进行语法分析，每天处理超过20亿次查询；Hadoop生态系统中的Hive、Pig、数据仓库和分析系统所使用的语言都用到了ANTLR；Lex Machina将ANTLR用于分析法律文本；Oracle公司在SQL开发者IDE和迁移工具中使用了ANTLR；NetBeans公司的IDE使用ANTLR来解析C++；
（Javascript）AI数字人mp4转canvas播放并去除背景绿幕
lx_nhs的博客
06-12 449
去除前：去除后： 3、可能会出现的报错 （1）视频路径跨域问题：解决：vue开启代理
【Java02】Java中数组的定义与初始化
饮冰室
06-10 546
推荐第一种方式。这种方式容易让人理解，数据类型是type[]，对象名称是arrayName。第二种方式有些老旧了。由于数组是一种引用变量（也就是一个指针），所以定义的时候还没有指向任何有效的内存空间，因此在定义数组的时候不能指定数组的长度，也不能直接使用。必须进行初始化。可以使用var让系统自动推断变量类型，既可以用于静态初始化，也可以用于动态初始化。
【2024最新华为OD-C/D卷试题汇总】[支持在线评测] CPU算力分配(100分) - 三语言AC题解(Python/Java/Cpp)
清隆学长的博客
06-11 319
### 问题描述 K小姐是某公司运营部门的主管,最近她需要对公司的两组服务器进行算力分配。每组服务器有多个算力不同的 $CPU$,其中 $A$ 组第 $i$ 个 $CPU$ 的运算能力为 $A[i]$,而 $B$ 组第 $i$ 个 $CPU$ 的运算能力为 $B[i]$。一组服务器的总算力是各 $CPU$ 的算力之和。 为了让两组服务器的算力相等,K小姐允许从每组各选出一个 $CPU$ 进行一次交换。她希望从 $A$ 组服务器中选出算力尽可能小的 $CPU$ 来交换,你能帮她计算出应该选择哪两个 $CP
笨蛋学算法之LeetCodeHot100_3_最长连续序列（Java）
YSL_Monet的博客
06-12 145
开启我的第三篇LeetCodeHot100算法之路---最长连续序列
微型操作系统内核源码详解系列四（3）：操作系统调度算法（FreeRTOS内核篇上）
2301_77061352的博客
06-12 790
-uxTopPriority，被设定为是代表最大优先级的数字，自减操作代表从就绪列表最后一个链表（优先级最高的链表）开始查找，直到找到任务链表不为空的优先级任务，那么这个任务肯定也是所有任务中优先级最大的任务，然后获取这个任务的TCB并更新pxCurrentTCB（切换的具体函数），最后更新uxTopReadyPriority的值。容笔者说一下个人看法，从c语言和数据结构算法的层面学习，只能说是舍本逐末，透过Freertos这个小型系统，窥见庞大的操作系统架构的一角，这才是我们学习的重点。
公开数据集bdd100k-mot和ua-detrac
09-17
公开数据集bdd100k-mot和ua-detrac都是用于目标检测和多目标跟踪研究的数据集。 bdd100k-mot数据集是从bdd100k数据集中扩展出来的，包含了大约10,000个视频片段，总计超过230,000帧图像。这个数据集涵盖了不同的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值