(16) 换个角度看达梦数据库的发展

最近由于工作原因,一直在学习并分享达梦数据库相关的技术原理和操作实践方面的内容。今天我换另外一个角度,从非技术角度来看看达梦数据库,给各位同学做一个介绍分享。

一、公司的发展情况

达梦公司始终坚持原始创新,独立研发,掌握前沿数据管理与数据分析核心技术,抢占大数据发展制高点,拥有完全自主知识产权,是唯一获得国家自主原创产品认证的数据库企业,拥有国内顶级的数据库研发精英团队,快速响应用户请求,提供原厂专业技术服务,连续十年国产数据库销量第一,多次与国际数据库巨头同台竞技并夺标。

随着“大数据”战略的推进及网络安全建设需求的提升,达梦公司作为国家基础软件的核心企业,围绕“网络安全”、“大数据”领域迅速发展,产品在稳定性、安全性、可靠性等方面得到大幅提升,并在国家电网、金融银行、电子政务、社保、航空、能源等关系到国计民生的重大核心领域得到广泛应用。

达梦公司紧抓市场机遇,迅速布局海外市场,产品和解决方案现已成功推广到泰国、印尼、韩国、日本、美国、保加利亚、尼日利亚、津巴布韦等海外市场,是首个走向世界的国产数据库和大数据企业。

1.1公司的发展历程

始于1980年,初始的系统版本应用于XXXX数据处理的小型操作系统研发完成,获XX部科学技术奖。

在1988年,诞生了我国第一个自主版权的国产数据库管理系统原型CRDS。

在1992年,于华中理工大学达梦数据库研究所成立。

在1997,中国电力财务公司华中分公司财务应用系统首次使用国产数据库DM2。随后,在全国76家分子公司上线使用。

时间进入到2000年,我国第一个数据库公司武汉华工达梦数据库有限公司成立。DM3诞生,在重大领域得到广泛应用,并在国产数据库行业连续七年测评第一。

伴随着新的千禧年到来脚步,达梦的发展驶入了快车道。

在2004年,研发团队7个月完成两年半的研发工作推出DM4,性能远超国内基于开源技术的国产数据库,并在国家测试中继续保持第一。

在2006年,DM5在安全性及产品化方面得到完善,荣获第十届软博会金奖。达梦公司适应市场需求,调整发展战略,进军大数据市场,达梦开发的中国首个大数据应用三峡库区地质灾害预警指挥系统上线。

公司在2008年,中国软件股份有限公司对达梦进行战略投资,公司进入快速发展阶段。

DM6于2009年,与国际主流数据库产品兼容性得到大幅提升,在政府、重要敏感行业等对安全特性要求更高的行业领域得到广泛应用。

DM7发布于2012年,新一代达梦数据库管理系统。支持大规模并行计算、海量数据处理技术,一举成为了企业级数据管理服务平台的理想之选。

从2013开始至2016年,达梦大数据平台升级发布,提供从大数据存储、交换、管理、到分析和呈现的一体化大数据管理服务。首个基于DM7的海外项目在泰国教育部成功上线运行。上海浦东新区政务数据中心成功项目上线,达梦助力智慧政务。达梦数据库在河北政法云成功上线,国产数据库在大数据领域的研究成果得到进一步应用。

达梦大数据平台已在30多个领域得到广泛应用。

伴随着2019年的到来,达梦发布了新一代达梦数据库管理系DM8。多样化架构充分满足不同场景需求,支持超大规模并发事务处理和事务-分析混合型业务处理、动态分配计算资源。高效的处理能力和稳定的运行能力,以及具备替换ORACLE RAC架构的高可用架构技术能力,得到了国内政府和大型国有企事业单位的充分肯定和认可。

1.2行业地位

行业地位见证公司能力。这里面包括:

中国数据库标准委员会组长单位;

XC工作委员会数据库组组长单位(首届);

连续10多年被评为国家规划布局内重点软件企业;

核高基重大专项课题牵头承担单位;

40余年来坚持自主创新的技术路线;

致力于自主可控数据库产品的研发与推广。

1.3技术实力

多年来,始终坚持自主原创的发展路线。经专家组权威检测,达梦产品代码自主原创率达99.9%。达梦数据库完全自主研发数据库代,并获得国家相关认证。已通过公安部安全四级评测,通过了中国信息安全评测中心的EAL4级评测。是目前国内安全等级最高的商业数据库之一。

在政府、军方、高校四十年来的支持下,达梦数据库在安全领域已经取得了巨大的成就,数据库取得了国内最高安全等级认证及军方最高自主可控程度认可,拥有全面的安全防护技术,保障客户的数据安全。

1.4市场分布

根据公开的市场数据显示,达梦数据库连续多年国产数据库市场占有率领先;装机产品累计已达600000套;现已服务于国内、外用户近十万家;应用于50多个重大核心领域。

公司有3大研发中心,分别是 武汉、上海、成都。包括4家分子公司:北京、上海、苏州、武汉技术。

同时,在全国设立了20多个办事处机构,分布在沈阳、西安、济南、长沙、合肥、杭州、深圳、重庆、昆明、南宁、南昌、兰州、乌鲁木齐、银川、拉萨、哈尔滨等经济中心区域,建立了覆盖全国重点省会及热点经济区域的技术服务团队,可以为客户提供更加高效、优质的原厂技术服务。

达梦对海外市场的发展也早有布局,提出了 “立足中国,走向世界”的发展理念。市场行动与技术服务共同推进,使得达梦在海外市场上取得了重大突破。海外客户遍布于泰国、印尼、埃塞俄比亚、保加利亚、尼日尼亚、韩国、俄罗斯等。

1.5公司团队

目前有1300多人的规模,技术人员占比80%。原厂技术服务人员近500多人,可以为全国客户提供优质的原厂技术服务。成立二十多年来,公司核心技术团队持续稳定,无重大人员流失,有效保障了技术团队的稳定性和客户服务的高质量。

二、产品方案体系

通过对公司数据库产品的资料学习和动手搭建部署集群环境,让我对公司产品有了更加深入的了解。特别是有机会加入到运营商的去O项目上,从中深刻体会到了达梦产品给客户带来的技术价值,公司的DSC产品为客户的去O工作带来了巨大的帮助。

公司以自主先进的达梦数据库(MPP、DSC、RWC、DATAWATCH)为核心,旨在为政府、企事业单位提供云计算及大数据平台服务,平台能对接、管理异构公有云和私有云,能够提供达梦全栈数据解决方案,实现应用快速部署与自动化运维管理,集成达梦特有的DMETL、DMHS、数据分析与可视化、数据挖掘等工具,融合开源大数据产品,打造适应不同应用场景的大数据产品体系,可以为用户提供差异化服务。

2.1DM8关系数据库管理系统

DM8是新一代大型通用关系型数据库,全面支持 ANSI SQL 标准和主流编程语言接口/开发框架。属于公司在总结DM系列产品研发与应用经验的基础上,坚持开放创新、简洁实用的理念,推出的新一代自研数据库。DM8吸收借鉴当前先进新技术思想与主流数据库产品的优点,融合了分布式、弹性计算与云计算的优势,对灵活性、易用性、可靠性、高安全性等方面进行了大规模改进,多样化架构充分满足不同场景需求,支持超大规模并发事务处理和事务-分析混合型业务处理,动态分配计算资源,实现更精细化的资源利用、更低成本的投入。行列融合存储技术,在兼顾 OLAP 和 OLTP 的同时,满足 HTAP 混合应用场景。一个数据库,满足用户多种需求,让用户能更加专注于业务发展。

2.2 达梦数据共享集群DMDSC

达梦数据共享集群软件(DMDSC)是在DM8中采用的一项新技术,具有高可用性、可扩展性,是数据库支持网络计算环境的核心技术,由达梦公司在国产数据库领域首次推出。

DMDSC集群是一个多实例、单数据库的系统,主要由数据库和数据库实例、共享存储、本地存储、通信网络、以及集群控制软件DMCSS组成。多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例,获得完整的数据库服务。数据文件、联机日志、控制文件在集群系统中只有一份,不论有几个节点,这些节点都平等地使用这些文件,这些文件就保存在共享存储上。

DMDSC 技术可为低成本硬件平台提供支持,使其提供优质的服务,并达到或超出高端硬件平台所能提供的可用性和可伸缩性等级。通过显著降低管理成本和提供出色的管理灵活性,达梦为企业网格环境提供了强有力的支持。

DMDSC设计用于应用的高可用性和可扩展性。通过保护应用不受硬件和软件失败的干扰,提供了保证持续访问数据的系统可用性。它的水平扩展特性和垂直扩展特性形成了一个平台,允许企业从任何层面上扩展它们的业务。应用的开发和管理,以及变更管理从而更简单了,也相应地降低了企业的总成本。

2.3 达梦数据守护集群DMDataWatch

达梦数据守护集群软件(DM Data Watch)是一种集成化的高可靠性解决方案,该方案基于数据库REDO日志,不依赖于第三方软件和存储,用于解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题,提供不间断数据库服务,可同时满足用户对数据安全性和高可用性的要求。数据守护包含的主要部件有:主数据库、备数据库、联机REDO日志系统、本地REDO日志归档服务、实时REDO日志归档服务、REDO日志重做服务、MAL系统、守护进程和监视器。其中,守护进程和监视器是两个独立的工具,其他部件集成在DM8数据库服务器DMSERVER中。

2.4达梦读写分离集群DMRWC

达梦读写分离集群(DMRWC)是DM8提供的一个用于提升并发事务处理性能的集群组件。在一个高并发的事务型系统中,当写事务占的比例相对读事务较小时,DM8提供的这种独具创新的方案DMRWC,可通过客户端来实现读、写事务的自动分离,读事务在备机执行,写事务在主机执行,减轻主机的负载。可配置多台备机,通过增加备机节点资源,提高系统的并发能力,增强系统性能。

2.5分布式数据库DMDPC

立足成熟的商业化数据库技术积淀,达梦公司采用先进的分布式计算理念,推出突破性的分布式数据库产品,实现极致的扩展性和大地理区域跨度下的容灾能力,同时提供数据库的数据一致性、事务、复杂SQL等核心能力,力促分布式数据库技术的不断演进。

适用于金融科技、工业互联网、物联网场景的新一代分布式数据库,计算与存储分离,无状态 SQL 层在算力提升同时可极致扩展,存储随需扩容,引入 Raft 协议提供强一致的数据副本保障和大地理跨度容灾。产品部署灵活,运行性能优异,在运营商核心系统有着大量的部署应用。

2.6达梦数据实时同步软件DMHS

达梦数据实时同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。该产品采用基于日志的结构化数据复制技术,不依赖主机上源数据库的触发器或者规则,对主机源数据库系统几乎无影响,能以极少的系统开销实现秒级数据实时同步复制。DMHS基于成熟的关系数据模型和标准接口,支持多种软硬件平台,能够灵活的配置出一对一、一对多、多对一、多对多以及级联等多种形式的复制拓扑结构,可以广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、订阅分发、多业务中心等业务领域。

除此以外,在数据迁移方面,DM8还自带了DTS工具,也是数据迁移的好助手,为日常的数据迁移工作提供了极大的便利。

2.7达梦数据交换平台软件DMETL

达梦数据交换平台(DMETL)是达梦公司在十余年数据处理经验的基础上,研制开发的具有自主知识产权的、商品化的数据交换与处理平台。达梦数据交换平台创新地将传统的ETL工具(Extract、Transform、Loading)与分布式消息平台相结合,实现了对数据抽取、传输、整合以及装载的一站式支持,是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台,同时也可以作为数据加工处理工具由业务人员依据个性化需求灵活配置使用。

DMETL已被广泛应用于公安、信用、电力、国土、住建、社保、政法、政务等多个行业的数据中心项目中,为各类数据集成项目建设提供从数据采集、清洗加工、数据质量检测到快速装载的全面支持。

2.8达梦启云数据库云服务系统

达梦启云数据库云服务系统作为国内领先的云原生数据库产品,将云计算平台与达梦自研的国产关系型数据库深度融合,采用容器化部署、微服务、存储计算分离、多租户、智能运维管控等前沿技术,能够为用户提供更可靠、更高效的云原生数据库服务。系统能够为用户提供数据库即服务(DBaaS)的强大能力,极大简化了数据库使用、管理和运维流程,提升了业务上线速度,同时降低投资成本。

2.9图数据库系列产品

图数据库以计算机理论中的图模型为核心进行用户数据的存储、查询和计算,是近年来强势崛起的一种NOSQL数据库,四川蜀天梦图数据科技有限公司顺势而为,推出具有自主知识产权的分布式图数据库管理系统(GDM)。 GDM遵循图数据库标准,深度兼容主流的图数据库查询语言,集高性能、高可用和易于扩展于一身,同时结合市场需求,研发了极具特色的细粒度权限控制机制,并且配套了极易上手的数据管理平台,目前已成为国产图数据库领域中不可忽视的一支新兴力量。

产品在疫情防控、社交关系网络、公安行业、金融风控等的核心场景得到了丰富应用。

2.10达梦云开放平台

达梦云开放平台结合达梦的各类核心产品和解决方案,为政府及企事业单位提供便捷、智能化的云管理平台,将数据、服务、应用进行统一运维管理,为传统IT架构柔性演进到新的高可用、高容错的云架构提供一个简单、高效的途径。

三、经典行业客户案例

达梦数据库在各个行业都有着广泛的客户群体和深入的行业应用,在此,我仅选择2个有代表性的行业案例作为素材,方便对达梦公司有更深入的了解。

3.1 金融行业 之 湖北银行新核心业务系统的应用实践

项目背景

湖北银行重组成立以来,各项业务稳健发展,全行资产快速增长到上千亿元,在金融科技深化应用的行业趋势之下,老核心已无法支撑当下业务的正常运转。随着数据量的增长,当前湖北银行核心系统存在部分亟待解决的问题:核心系统不能满足日益增长的客户需求,客户办理业务耕时较长、业务办理速度慢,移动金融工具用户体验不好等。在全新的内外环境之下,2017 年 10 月,湖北银行全面启动新核心系统建设。

数据库选型

本项目采用先课题研究,后应用实施;先实验室场景,后生产实测的路线,有序稳步推进。在进行数据库选型阶段,除了考虑常规技术标准,湖北银行结合自身业务需求、应用场景进行综合考量,着重考察如下维度,最终选择达梦数据库:

技术方案

此次核心系统的应用和替换,采用了柔性迁移的方案,达梦数据库和 ORACLE 数据库在前期融合运行,数据从 ORACLE 实时同步到达梦数据库,负载将在 ORACLE 和达梦数据库上进行均衡。

数据库层采用读写分离的可扩展架构,实现双中心双活。达梦数据库的部署基于 2 台 X86 服务器,采用主备读写分离的架构,数据从 ORACLE 获得,主机可读写,备机只读。湖北银行可根据自身需求,动态调整读写负载比例,主备数据库之间通过 MAL 服务传送日志。

实现基于数据库复制和切换的高可用性架构。用于读写业务的生产库采用 ORACLE RAC,ORACLE 与达梦之间使用 DMHS 同步软件进行数据传递,实现数据秒级同步。

实现自动判断应用层数据源与故障切换。通过应用层对交易状态与故障的自动判断,实现数据源的自动切换。在容灾能力方面,达梦团队对数据库进行了容灾备库的建设,保障了新核心系统的高稳定性和高安全性。

实现效益

以月为统计单位,在核心业务系统运行中,达梦数据库承载生产查询类交易超过 600 万笔,日均超过 20 万笔,在业务高峰时段,交易量峰值超过 1.7 万笔/小时,交易成功率 99.99%。

3.2 能源行业 之 南方电网财务管理系统升级改造

项目背景

作为关系国计民生的基础性行业,电力央企在核心技术领域的自主创新和信息安全备受关注。南方电网在“十二五”期间部署了“6+1”信息化工程建设,旨在探索出一条符合南方电网实际的、“以战略为导向、以我为主、自主开发”信息化道路。

财务管理系统是南方电网六大企业级应用系统之一,是公司“十二五”发展战略和一体化战略落地的重要支撑平台。伴随企业规模的不断壮大,财务集约化管理、信息系统全面升级的需求应运而生。在财务管理系统 V2.0 升级过程中,南方电网已逐步完成了服务器硬件、中间件的升级改造,本项目对其进行数据库层的迁移改造,进一步实现财务管理系统软硬件全面升级。

技术解决方案

为保证财务管理系统数据库顺利的切换,达梦团队通过大量的测试、演练和验证工作,提出柔性替换方案:分三阶段,无缝平滑替换 ORACLE 数据库。

第一阶段:ORACLE 集群为主库,负责读写业务,DMHS 同步数据至 DMDataWatch,DMDataWatch 负责旁听,测试 DMHS 同步功能。

第二阶段:ORACLE 集群负责读写业务,DM 单机负责部分读业务,DMHS 同步所有数据至DMDataWatch,部分数据同步至 DM 单机。

第三阶段:ORACLE RAC 集群替换成 DM 集群,通过 DMHS 进行数据同步,最终实现数据库的顺利切换。

系统最终架构图如下所示:

实现效益

目前,系统数据库已正式切换为达梦数据库,并稳定运行两年,在功能性、性能效率、可靠性、信息安全性等方面,完全满足业务需求。在 50% CPU 压力情况下,产权查询、交易单位查询、电厂结算单元查询、报表输入等业务平均响应时间小于 3 秒。

业务赋能

达梦数据库除了支撑南方电网原有财务管理系统 V2.0 报表管理、报账平台、预算管理、工程财务、核算管理等 12 项核心职能,还为升级后新增的综合管理、财务共享服务支撑平台、移动应用模块,提供安全、稳定、可靠的数据库服务。

该项目于 2016 年在海南电网率先启动,现已完成全面验收,稳定运行两年余。运行期间,系统经受了月底、季末、年底的结算高峰运行考验,在财务月度、季度报表编制及财务快报等业务中,性能较原数据库ORACLE 有较明显提升。

客户收益

(1)依托达梦数据库的生态优势,南方电网财务管理系统快速实现从服务器、中间件,到数据库的升级改造,在性能、成本、信息安全等方面,取得了显著收益;

(2)达梦针对项目需求,进行了整套 VPD 定制开发及性能优化。在仿真压力测试下,系统高并发业务响应时间,较客户预期平均缩短 30%;

(3)在达梦数据守护技术支撑下,财务管理系统具备多级应急灾备能力。可在不中断现有业务的情况下,保证业务的持续,各类风险事件的恢复时间被控制在分钟级别,大幅提高系统的安全性和恢复速度;

(4)达梦帮助客户提升系统安全性。项目采用的达梦数据库,拥有自主知识产权,是现有市场中具有最高安全等级的数据库,消除了长期依赖国外数据库的信息安全隐患;

(5)由于达梦全面支持 ANSI SQL 标准、主流编程语言、开发接口与框架,本次财务管理系统由 ORACLE 切换至达梦数据库,运维人员在应用层只需少量修改,就可快速完成移植,二次开发成本大幅降低。

综上,乘着信创的东风,以及在党政客户和八大行业对国产数据库技术的需求转变中,伴随国内数字经济的数字化建设浪潮,达梦数据库也必然会在国产化数据库这一领域取得更多的成就。

以上是这次分享的相关内容,欢迎小伙伴给我留言进行交流指导。

达梦技术社区:https://eco.dameng.com

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值