上周五(7月12日)巨杉数据库参与了由得到App主办八里庄技术沙龙活动,分享主题是关于分布式数据库架构与实战。
以下就是根据巨杉数据库现场分享的内容进行的分享实录整理。
巨杉数据库简介
巨杉,专注新一代分布式数据库技术研发,自2011年成立以来,坚持从零开始打造分布式开源数据库引擎,是中国首家连续两年入选 Gartner 数据库报告的数据库厂商。
巨杉数据库的主要产品包括 SequoiaDB 分布式关系型数据库与 SequoiaCM 企业内容管理软件,应用场景包括分布式在线交易、数据中台、分布式内容管理等。
目前,巨杉数据库已在近百家大型商业银行核心生产业务上线,并广泛应用于金融、电信、政府、互联网、交通等领域,企业用户总数超过1000家。
数据 库应 如何 应对 微服 务发 展 趋势
很多企 业 内部的 应 用开 发 都在从 传统 中 间 件加数据 库 的 “ 烟囱式 ” 开 发 ,向微服 务 架构 转 型。而在微服 务 体系架构中,几乎每个微服 务 都需要提供数据持久化的能力,而用 户 也希望每个微服 务 所承 载 的数据量能 够 无限的 弹 性 扩张 。但是,在采用微服 务 架构的 过 程中,每个微服 务 使用自身独立的数据 库 存 储 又会使 过 去集中在一个地方的数据分散到很多不同的 设备 中,造成整个 IT 架构的数据 严 重碎片化。
实际上,当企业用户采用微服务体系架构的时候,从数据管理的角度,业界有两种做法。
第一种:就是 对应 用程序 进 行微服 务 改造,底 层 数据 库 使用 传统 集中式数据 库进 行存 储 。 这 种做法学 习 成本也 较 低,其存在数据 紧 耦合,无法 弹 性 扩张 ,以及可能存在 单 点故障等 问题 。
第二种:每一 组 微服 务对应 一个独立的小数据 库 ,往往使用 MySQL 或 PostgreSQL , 业 界使用 较 多的。 这 种机制能 够 解决集中式存 储 的 问题 ,但是也 带 来了新的挑 战 ,包括数据极度碎片化,在微服 务 之 间 无法共享,运 维 成本极其高昂。
两种 办 法都不能很好的解决微服 务 下数据存 储 管理的 问题 ,因此分布式数据 库 就是要解决上述的两个 问题 。第一就是 针对 每个微服 务 做到数据 弹 性 扩张 ,第二就是 对 整个企 业 IT 做到数据的 统 一治理从而避免碎片化存 储 。
联机交易需要什么样的分布式数据库
联机交易数据库特 性
适合微服 务 的分布式数据 库 都 应该 具有特性,主要 应该 从两大 维 度。一是 对传统 技 术 的兼容,二是技 术 和架构的 创 新。
传统技术的兼容方面,必须支持 ACID 和 SQL 的完整性。
从新技 术 的前瞻性来看,首先,分布式数据 库 的核心价 值 在于数据 库资 源池在保 证 与 传统 数据 库 100% 兼容的基 础 上,必 须满 足分布式 弹 性 扩张 ,当 资 源池里面空 间 和 计 算能力不足 时 ,需要通 过动态 增加 计 算存 储节 点的方式 进 行 扩 容。
其次,大家采用的开 发 流程、 SQL 标准、以及安全策略各不相同,因此分布式数据库必须能够支持多种模式的访问接口 。
最后, HTAP ,即交易分析混合 处 理能力。 联 机交易数据与 实时 数据分析在 资 源池内 进 行 资 源隔离, 对 同一份数据 库访问 并可以做到互不干 扰 。适合微服 务 的数据 库 必 须 有 较强 的交易分析混合 处 理能力。
分布式数据 库 架构及关 键 特性
巨杉数据 库实例化 架构
要打造适合微服 务 架构的数据 库 ,巨杉数据 库 采用了 计 算存 储 分离的架构。其中存 储层 采用自研的原生分布式数据 库 引擎,上 层计 算 层则 可以 创 建成百上千个数据 库实 例,同 时 每个数据 库实 例 对应 用完全透明,不需感知。如 图 5 所示。
计算与存储分离架 构
对于计算和存储分离,把分布式存储层展开, SeuqoiaDB 分布式存 储 引擎有很多 节 点角色,其中有 协调节 点 编 目 节 点和数据 节 点和 编 目 节 点。 协调节 点是数据路由,数据存 储 在数据 节 点。 编 目 节 点保存整个数据集群系 统 信息。数据 节 点把数据打散到不同的分区中,使用三副本架构,任何一个 节 点出故障,不影响正常运行。
巨杉数据 库 核心 应 用 场 景
巨杉数据 库 大 维 度下的定位是一款真正的金融 级 分布式关系型数据 库 。 巨杉数据 库 目前在企 业级应 用 场 景主要包括分布式在 线 交易、数据中台以及分布式内容管理。
在 线 交易是数据 库 最广泛 应 用的 场 景之一,通常用来支撑核心 业务 运 营 。分布式在 线 交易数据 库 核心 业务 价 值 包括,分布式架构 转 型,高并 发 、高 处 理能力, 业务 持 续扩 展能力以及自主可控与数据安全要求。
数据中台提供全量数据的 实时 在 线 服 务 ,泛指 传统 核心交易以外的所有 对 外服 务业务 。
内容管理平台 为 企 业 提供存 储 、管理和使用海量非 结 构化数据能力。常 见应 用包括影像平台、文档管理平台、音 视频 双 录 系 统 等。
分布式事 务 能力
巨杉数据 库 支持分布式事 务 ,使用二段提交确保多个 节 点之 间 数据一致, 锁 机制是悲 观锁 ,支持 MVCC 的 读 写提交能力。
HTAP 读写分 离
多租 户物理隔离 能力
通 过数据库引擎的分布式架构、Multimodel多模数据存储类型以及实例化的数据库实例管理,巨杉数据库可以实现多租户啊管理的能力、HTAP等等云化数据库必须的技术能力。
最后八里庄技 术 委 员 会主席李丹与巨杉数据 库 技 术专 家合照留念,期待更多数据 库 技 术 交流。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31534344/viewspace-2651032/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/31534344/viewspace-2651032/