2021年9月24日,以“数据库内核技术与行业应用”为主题的2021年度数据库大咖讲坛第7期进行了线上直播。大会邀请来自云和恩墨、华为、优炫数据库、OceanBase、巨杉数据库的技术专家,就自主开源助力金融数据库自主可控、华为云原生MySQL应用无损透明切换和故障转移、数据库自治运维及优化的原理和关键技术、OceanBase 高可用原理技术和实践、金融级STP分布式事务如何支撑数千节点扩展等话题展开分享,通过ACDU(中国DBA联盟)和墨天轮技术社区搭建的平台,深入加强行业间的交流与合作。
数据库是组织、存储、管理、分析数据的系统,是IT行业最重要的基础软件,目前各行各业所有的信息系统都需要使用数据库系统管理业务数据。数据库在软件和硬件之间起到承上启下的重要作用,是IT行业最重要的核心技术。
伴随着IT信息化、产业数字化的浪潮滚滚向前,企业的信息化建设经历了逐步发展、逐渐成熟、加速转型的过程。作为信息化核心的数据库,出现了百家争鸣、百花齐放的繁荣发展。特别是近几年,数据库技术不管从学术上到应用上,都得到了突飞猛进的发展。
此次活动,我们邀请到行业知名专家,分享数据库内核技术,从核心技术、架构设计、发展趋势等角度,诠释解析数据库前端技术,通过落地行业实践,助力企业信息化发展,共同推送行业信息化建设。
自主开源助力金融数据库自主可控
演讲嘉宾:张皖川——云和恩墨2020产品事业部总经理
演讲大纲:本演讲深入探讨了openGauss在多核扩展能力、NUMA/软硬结合优化、系统高可用、HTAP混合负载能力提升等方面的企业级核心技术,并分享基于openGauss共建金融核心系统进程中的实践经验。
演讲PPT下载:https://www.modb.pro/doc/46760
华为云原生MySQL应用无损透明切换和故障转移
演讲嘉宾:熊刚——华为数据库内核专家
演讲大纲:
1. 数据库系统切换与故障转移下,用户的应用程序需感知系统的变化并提供复杂的应对措施
(1) 连接是否中断
(2) 事务是否中断
(3) 如何进行事务补偿
(4) 如何重建session上下文
... ...
Huawei MySQL ALT将避免连接和事务中断,无需用户对事务进行补偿,以及恢复和重建session上下文
2. 云原生背景下,开始走到下一跳ServerLess,需将计算资源做到弹性可扩展,作为复杂数据操作模型的通用关系型数据库,在整个计算资源池中(一个region多个可用区,若干台物理机)调度,Huawei MySQL ALT将确保事务和Session上下文快速无损透明迁移
3. 站在用户的角度重新定义高可用性指标
(AIR)Application Impairment Ratio 应用受损比率
(AFD)Application freeze Duration 应用卡顿时间 (最大/平均两种)
演讲PPT下载:https://www.modb.pro/doc/46867
数据库自治运维及优化的原理和关键技术
演讲嘉宾:王军——优炫数据库UXDB技术专家
演讲大纲:本次演讲重点分析了数据库自治需求、市场格局,介绍优炫自治数据库技术原理、关键技术及创新点,以及使用场景等。
演讲PPT下载:https://www.modb.pro/doc/46757
OceanBase 高可用原理技术和实践
演讲嘉宾:杨志丰(竹翁)——OceanBase内核研发总监
演讲大纲:重点介绍OceanBase极致高可用的架构原理、关键技术和应用实践。
演讲PPT下载:https://www.modb.pro/doc/46759
金融级STP分布式事务如何支撑数千节点扩展
演讲嘉宾:杨上德——SequoiaDB巨杉数据库技术专家
演讲大纲:本次分享重点介绍金融级分布式数据库SequoiaDB的STP和分布式事务机制的简要原理,同时还将通过实际应用案例,介绍在金融级银行场景下,这一机制如何作用于数千节点的超大集群的工作、扩容和安全保障。
演讲PPT下载:https://www.modb.pro/doc/46860
典型问题解答
Q1、在安装一主两备的MogDB进行其智能索引测试的时候,不知道其具体是采用了何种算法呢?
智能索引主要是利用MogDB优化器自带优化策略,根据统计信息模拟特定查询在添加索引后的效果确定索引推荐。
Q2、高可用方面与Oracle RAC相比有无优势?
在国产硬件适配上有一定优势,极致RTO<10s, 单机性能接近Oracle, 复杂查询某些场景下有优势。高可用类似Oracle DataGuard。
Q3、MogDB可以添加哪些可视化插件?MogDB是否有相关的类似于Toad、PLSQL Developer这样的工具?
(1)目前支持自动化安装部署管控及可视化监控展示,由MogDB Manager提供。
(2)有提供pldebugger。
Q4、请问能完全兼容Oracle吗,性能方面对比如何?
兼容绝大部分语法、函数、视图;提供SCA工具自动识别非兼容SQL并提供自动化改写。
性能方面,在鲲鹏架构下有优势,两路服务器 tpmC>150万,对比配置相当的X86平台(两路x86 6148处理器)Oracle tpmC<100万。
Q5、从Oracle迁移到MogDB,有工具验证数据一致性么?
支持,提供MVD,这是一款异构数据库对比工具,可用于异构数据迁移或同步完成之后,校验源库与目标库之间的差异。
Q6、MogDB对于主备同步的支持情况如何?对于主备不一致的时候,如何进行差异追平?
MogDB 采用物理复制,支持多种复制模式(同步/半同步/异步);在同步模式下主备数据不会发生不一致情况。MySQL采用Binlog逻辑复制,备库不具备并行回放能力或不强(版本不同),在主库压力大时,容易出现主从gap拉大的情况。
Q7、自动参数调优是启动的时候自己检测出来的,还是运行时可以自己动态调整的?
是针对当前负载调优,生成推荐参数;可以随负载变化动态调整。
Q8、一主多备的同步复制,对链路有什么要求吗?
没有特别要求,只要网络带宽>=日志流量/s, 同步复制要求网络稳定,避免复制影响主库交易。
Q9、相对于其他自治数据库,优炫数据库能达到什么样的自治程度?与传统的AIOps技术有什么区别?
优炫自治数据库结合了机器学习技术,系统性能提升有效率达到90%以上,属于数据库领域的AIOps。
Q10、传统商业数据库如何在优炫自治数据库实现自治功能?
优炫自治数据库的自治能力是基于优炫数据库的,传统商业数据库需要迁移到优炫自治数据库实现自治功能,优炫自治数据库提供异构数据库迁移工具,一键式将传统商业数据库中的对象及数据迁移过来。
Q11、SQL的性能自调优采用了机器学习中的什么算法,是如何进行自调优的?
优炫自治数据库根据对采集的数据库状态数据做具体分析,选择相应的机器学习的算法,基于访问路径、收益率等进行自调优。
Q12、UXDB是基于开源数据库开发的吗?相对于传统主流关系型数据库有什么优势,比如Oracle?
UXDB借鉴了包括PG在内的数据库技术,是自主研发的、具有自主知识产权的国产数据库,相对于传统主流关系型数据库,如Oracle,在支持的硬件软件环境、安全性、服务支持方面有明显优势。
Q13、OB集群是怎么解决各个读写节点间内存的数据一致性?故障转移会做事务补偿吗?应用需要回滚当前事务重新建立连接么?
OB数据有三副本,读写默认针对的是主副本。主副本事务提交时,事务日志会在多数派副本里落盘成功后事务才算提交成功。主副本故障的时候,会选举新的主副本(这个新主拥有老主全部的事务日志),新主应用完所有事务日志后数据自然就跟老主故障前保持⼀致(未提交事务会回滚)。
Q14、OB为什么没有选择逻辑时钟?时间戳服务在实际中如何满足业务需求?
因为OB有GTS,GTS不是逻辑时钟,是⼀种集中式的时间戳服务。GTS本身实现了高可用,所以在可用性方面影响不大。性能方面,事务层做了各种优化,实测使用GTS还是local ts对业务性能⼏乎没有影响。
2021数据库大咖讲坛(第7期)视频回放地址:https://www.modb.pro/course/69(复制链接至浏览器或点击文末“阅读原文”观看)
关于ACDU (All China DBA Union):
ACDU,创始于2020年,由ACOUG联合创始人、国内首位Oracle ACE总监、云和恩墨创始人兼首席架构师盖国强(eygle)先生倡议发起。该联盟主要面向以DBA为主,涵盖数据库相关设计、开发、测试、部署、运维等技术人群。ACDU通过墨天轮社区能够为所有的DBA提供一个线上和线下的沟通平台,在这里分享知识、经验以及工作心得,甚至可以寻求和获得帮助。我们注重于知识的传承、人才的培养,更崇尚数据技术带来的乐趣与成果,希望能够为中国DBA的持续成长做出应有的贡献。
推荐阅读:267页!2020年度数据库技术年刊
推荐下载:2020数据技术嘉年华PPT下载
2020数据技术嘉年华近50个PPT下载、视频回放已上传墨天轮平台,可在“数据和云”公众号回复关键词“2020DTC”获得!
你知道吗?我们的视频号里已经发布了很多精彩的内容,快去看看吧!↓↓↓
点击下图查看更多 ↓
云和恩墨大讲堂 | 一个分享交流的地方
长按,识别二维码,加入万人交流社群
请备注:云和恩墨大讲堂
点个“在看”
你的喜欢会被看到❤