DM8白皮书新技术概括

---

一、DM数据库技术架构

关键业务解决方案—达梦数据共享集群DMDSC

• 更大规模集群支持
• 添加用于异地容灾的数据守护支持
• 增加DSCP特性，支持远程高可用镜像部署方式

达梦分布式事务处理架构—透明分布式数据库

• 透明分布式数据库（TDD，Transparent Distributed Database）技术
  1. 具有分布式数据库的高可扩展、高可用、高并发处理能力，且对用户透明
  2. 又具备传统数据库的所有高级特性，支持传统数据库所有开发接口和业务开发框架的技术架构
• 计算存储分离的系统架构，实现计算、日志、存储三层分离，可实现各层独立
  扩展、按需配置设备的特点

达梦分布式动态分析架构—数据库弹性计算

• 引入基于计算-存储分离架构基础上的数据库弹性计算技术，
  1. 显著提升关系数据库集群的横向扩展能力，释放用户设备算力
  2. 更低成本、更灵活的计算扩展方式

达梦混合事务分析处理技术—行列融合2.0

• DM7的行列混合具备了同时支撑OLTP和OLAP两类业务的能力，DM8的行列融合2.0具备了同时支撑OLTP和OLAP两类业务的能力
• 两个关键特性：变更缓存、高级日志（弥合行存储和列存储的鸿沟）

二、DM8产品细节改进

达梦MPP集群改进

• 优化部署流程，结合数据守护，达梦MPP集群最多支持8副本的高可靠性
• 行列融合2.0，达梦MPP集群一套数据即可满足高并发的OLTP业务，也能满足复杂的OLAP业务
• 优化使MPP集群的执行计划更加智能、更加高效

数据库备份还原改进

• 引入基于AP独立进程的备份与还原，通过独立的AP进程设计，隔离了引入第三方备份带来的稳定性风险
• 除全库备份外，用户还可以执行B树/堆表等级别的备份与还原，实现精细化备份策略定制
• 通过备份中断机制，用户可根据系统负载峰谷状态随时中止或恢复备份流程
• 为保证用户数据一致性，DM8还提供了归档修复功能，可将联机日志补齐到归档日志文件中，确保系统可以恢复到最新状态
• 与DM8 DSC集群相匹配，备份还原系统还支持了DM DSC系统的备份与还原，用户可以将单机的备份在DM DSC上进行还原，亦可反向执行，将DM DSC的备份用于单机环境进行还原

重做日志系统改进

• 为保证高压力下系统的平稳性，DM8引入了重做日志的熔断机制和主动降压机制，确保并发的SQL事务和日志系统的平衡
• 达梦在DM7引入了Redo Log的并行写入机制，在DM8中该机制得到了进一步增强：通过日志包（Redo Pack）设计，DM8实现了日志的并行+乱序写入，可有效提升日志系统性能。

系统运行日志与监控

• 引入异步日志机制，提升高并发负载下的系统响应性能；对同步日志进行性能优化
• 增加SQL日志的筛选记录机制，可根据SQL类型、SQL耗时等因素组合指定日志策略，帮助系统运维人员对重点SQL进行监控
• 丰富日志记录信息，新增用户名、线程号等信息；同时新增多日志文件支持，并为不同用户设置不同文件，降低运维人员对日志的分析难度
• 重新梳理并优化系统动态性能视图的设计，提供动态性能视图共计196个，辅助运维管理人员对系统运行状态进行监控

数据库对象与管理

• 超长记录支持，去除DM7中单行数据长度不能超过页大小一半的限制，改善易用
• 分区表引入间隔分区方式，按照插入数据实现自动分区子表的创建。对于多级分区表，实现大量细节改进，包括多级分区表下的加列、添加分区、二级子分区维护等，改善多级分区表的可维护性。
• 为临时表增加自治事务与空间限制，改善临时表的功能完备性。
• 新增异步索引，改善索引创建和重建时并发读写事务的响应时间，提升系统性能
• 对全文索引的适用性进行改进，使得分区表、包含聚集主键的表及堆表都可使用全文索引
• 改进全文索引同步机制，实现事务级实时同步，支持多事务并发填充
• 对于存在连接的物化视图增加了快速刷新支持
• 支持ON COMMIT刷新方式
• 支持嵌套物化视图，提升了复杂物化视图的刷新性能

系统性能优化

• 统计信息的动态采样机制
• 绑定变量窥视，使SQL计划得到明显优化
• 引入基于K-means的选择率聚类算法，能较好解决倾斜时数据分类问题
• Purge系统实现并行化处理，有效改善在多核处理器上的资源利用能力
• 支持RDMA协议，显著改善集群内联网络通信延迟与吞吐量指标

四、运维管理

• 全新的集中式运维管理工具—DEM【传统桌面工具系统（管理工具Manager，数据迁移工具DTS，性能监视工具Monitor）对等的功能，集群部署（Deploy）功能、监控功能和告警功能】
• 管理工具集成新的SQL助手2.0（了SQL语法检查功能和SQL输入助手功能）
• 运行环境提示与误删保护

五、DM8安全改进

• 弱口令扫描
• 更安全的数据库消息协议实现（对DM通信协议进行了全面审视和检查，对
  通信消息增加了检验处理）
• 集群形态支持访问控制（对敏感数据进行分级管理）
• 落盘数据全面加密
• 国产环境下的高强度密码算法支持

六、平滑迁移

• 广泛的SQL语法兼容性
• 专用DB API特性兼容（无需重写业务逻辑）
• 便捷的数据迁移（并行化，批量数据加速加载，独立迁移策略，改善流畅性）
• 达梦柔性替换迁移解决方案（达梦异构数据同步系统）DMHS