全闪存加速信创数据库&数仓一体机解决方案

大道云行TaoCloud

于 2024-03-01 14:32:35 发布

阅读量1.2k

点赞数 9

分类专栏：分布式存储技术博客文章标签：数据库分布式存储全闪存储

本文链接：https://blog.csdn.net/m0_69056972/article/details/136395483

版权

分布式存储技术博客专栏收录该内容

35 篇文章 5 订阅

订阅专栏

立足行业，深度解读

在新的大数据生态中，传统数据库/数据仓库技术和产品成为大数据生态中的组成部分，对结构化数据的存储和计算进行支撑。

数据库&数据仓库一体机是高端、核心数据管理产品，在我国党政、银行、交通等领域广泛应用。国产基础软硬件从党政向金融、电信、能源等行业核心应用领域切换，信创产业进入深水区，“信创数据库&数据仓库一体机”等高端产品替代需求更加迫切：即采用国产CPU服务器（飞腾、鲲鹏、龙芯、申威等）、国产操作系统、国产存储设备、国产网络设备硬件，以及国产数据库、数据仓库相关软件产品，且性价比优于国外同类产品的信创数据库&数据仓库一体机。

直面挑战，直击痛点

对标国外同类产品，须提供同等性价比

在当前信创CPU硬件平台处理能力不及X86平台的情况下，以同等的总体拥有成本（TCO）实现不低于国外同类产品的性能：

“信创数据库&数据仓库一体机”入门级配置的TPC-C基准测试，每分钟商业事务（tpmC）不低于160万；

“信创数据库&数据仓库一体机”入门级配置的TPC-H@1TB 基准测试，全部查询语句场景执行总耗时不超过1小时；

“信创数据库&数据仓库一体机”入门级配置的提供不低于200万IOPS数据随机读写性能（读写比7:3、4KB数据尺寸）；

支持行列存储引擎深度融合，支持列存储的高频写入和行存储的自动列存引擎转化。

数据安全，业务可靠

数据库&数据仓库是整套业务系统的核心，“信创数据库&数据仓库一体机”的业务连续性必须保证：

支持 7*24 运行，计算、存储节点支持故障容灾；

支持数据存储的多副本及纠删码冗余保护，单个节点失效不影响持续提供数据存储管理服务。

线性扩展，按需扩容

“信创数据库&数据仓库一体机”须支持计算节点、存储节点各自按需分别扩展。

丰富的迁移工具，保障客户应用"柔性"去"O"

柔性去“O”，可回退，将客户的数据库替换风险降至最低；

与Oracle等国外产品全面兼容，使客户应用尽量少改或无须修改：

(1) 符合主流SQL92 标准，入门级和过渡级标准符合率达到 90%以上；

(2) 提供主流编程访问接口，支持 ODBC、JDBC、OCI、Python、.Net的主要访问调用接口。

基于分布式全闪存的信创国产数据库&数仓一体机

一体机总体架构

采用计算存储分离的数据库架构，宏观上将计算引擎和存储引擎解耦，形成各自独立的服务，并部署于独立的计算和存储设备上。

计算节点层

负责处理用户SQL请求，形成优化的SQL执行计划，对获取到的数据进行汇总、连接、排序、映射等计算操作。

存储节点层

负责数据的存储与读取，实现数据的多副本或纠删码容灾机制，支持在线动态添加节点的数据重新分布，对外以块设备形式提供访问接口。

通信层

负责计算层和存储层的内部通信，可支持计算、存储层通信的专网专用，通过冗余设计，支持通信设备故障条件下两网合一的应急运转。

大道云行FASS分布式全闪存的特点

FASS是大道云行自主研发的高性能全闪存储系统，在高可靠、弹性扩展等原生的分布式特性基础上，FASS采用高性能全闪存硬件，结合精巧高效的并行流水线设计、虚拟内存管理、微控制器技术、裸盘管理等技术，可轻松实现千万级IOPS性能，以超高的性能表现，可以轻松满足数据中心关键业务的苛刻存储性能与弹性扩展的需求。

OS-Bypass

FASS软件栈在用户空间具备独立的用户态进程与其他系统组件隔离，取代操作系统的低效调度，结合高效的分布式全闪存储软件栈，取代操作系统的低效调度，发挥出超高的I/O性能。同时避免故障时相互影响，从而实现更高的系统可靠性，也有利于分布式数据库实现更简捷的协议与功能扩展，为数据库提供更优的底层存储资源支撑。

可靠性保障

完善的多副本和纠删码数据保护机制，提供硬件级、节点级、AZ级故障保护及切换能力。同时支持手动、自动进行数据均衡策略，满足不同业务场景的需求。

支持各类存储高级特性

支持QoS、快照、卷拷贝/卷迁移、自动精简配置、负载均衡等。