数据库表的软硬关联_【GBASE产品】替换国外软硬一体MPP产品 GBASE助力数据仓库国产化加速降本增效...

据IDC《数字宇宙》研究报告表明：到2020年，中国数据总量有望达到8000EB，占全球数据总量的22%，同时据《2019年中国大数据市场年度综合报告》统计，到2019年中国大数据市场规模达到100.05亿元，并预计3-4年内，每年增速度达到30%以上，将成为名列前茅的数据资源大国和全球数据中心。
随着中国大数据的飞速增长，海量数据的不断扩容。用户在需要建立和扩展系统的时候，要求数据库产品要在保证高安全性、高性能、成熟稳定的基础上还要求数据处理成本大幅降低，从而达到降本增效的目的。

国外软硬一体MPP产品

国外软硬一体MPP产品拥有进入中国早的优势，抢占大量市场，但是随着国产化战略的实施，在中国市场高峰已过，新增客户几乎没有。   国外软硬一体MPP产品基于封闭式架构，性能稳定，适合于中型数据量的数据仓库，但在大规模PB级别扩展难度大且效率偏差；造价高，价格高出国产化产品数倍；不易扩展，软硬件一体化要求高；扩容费用高昂，运维及服务费用昂贵；其封闭的架构导致硬件、软件和服务等全部依赖自身，且在中国技术服务人员数量有限，更限制了其服务能力。   因此基于：降低建设成本、实现对一体化封闭系统解耦、提高系统扩展灵活性低、节省运维开支、实现自主可控，国产化产品已经成熟等几点考虑。可以有2种模式实现国外软硬一体MPP产品替换：一种是实现与其兼容，提供替换及服务；另一种是同第三方合作伙伴合作，提供更多产品替换及服务。  

与GBase 8a MPP对比

GBase 8a MPP是GBASE南大通用自主研发的产品，自主可控，基于X86和Linux的开放架构，性能高，成熟稳定，扩容方便，成本低，易与上下游软件集成，适合于TB~10PB级别数据量的各类平台包括数据仓库、数据集市等，在国内具有200人的技术团队，能为客户提供优质的本土化服务。   GBase 8a MPP与国外软硬一体MPP产品共同点   国外软硬一体MPP产品 & GBase产品及服务差异   GBase & 国外软硬一体MPP产品优势   Gbase 8a MPP具有海量数据统一管理、高度共享、高效、深度多维关联的支撑服务、海量数据的低成本存储和管理、高可用、支持准线性在线扩展、国产数据库产品实现自主可控等优势，并可实现与国外软硬一体MPP产品兼容，提供分析型数据库替换及服务。 国外软硬一体MPP产品替换可行性   以大数据系统扩容量200T计算，国外软硬一体MPP产品在扩容过程中，业务将全部中断10小时，从而造成用户业务中断，影响全部业务；使用GBase 8a MPP进行数据量扩容，仅会影响数据修改、删除业务，查询业务、增量数据业务并不中断。   如果并行运行90个数据拉链作业，根据此结果使用24个GBase节点，性能无损，即可从国外软硬一体MPP产品系统中剥离应用出来。在原有环境下：部署32个节点，负载140个应用，建设成本在千万级；替换GBase 8a MPP环境后，部署24个节点，负载140个应用，建设成本在百万级。  

GBase 8a MPP替换/扩容方案

针对采用GBase 8a MPP国产分布式数据库在大数据平台中全新构建或替换/扩容国外软硬一体MPP产品的解决方案：   对于尚未构建数据平台的客户：国外软硬一体MPP产品性能稳定，但造价昂贵，后期扩容费用无法承受。可采用GBase 8a MPP完全构建数据平台；对于已使用国外软硬一体MPP产品但出现扩容需求或期望降低成本的客户：GBase 8a MPP可作为其辅助或逐步迁移到MPP的不二之选。国外软硬一体MPP产品仍作为高并发高强度支撑运营的主数据仓库，GBase 8a MPP可辅助承载温数据分析业务；对于已采用国外软硬一体MPP产品构建但后续无法承担成本的客户：可通过与GBase 8a MPP并存的方式，逐步将其业务进行迁移，最终实现国产高性价比数据库对国外软硬一体MPP产品的完美替代。 分析型数据库功能兼容性迁移示例  

GBase 8a MPP迁移方案

目前GBase 8a MPP已经拥有整体完善的迁移方案。涵盖了迁移过程和风险应对方案，使迁移工作达到：工具自动化、过程标准化、工作简单化、风险最小化等标准。 GBase 8a MPP迁移方案   迁移过程中，工程师将迁移工具部署在windows或linux服务器上，启动迁移工具根据迁移工具的配置向导配置迁移任务，进行源端数据库JDBC连接参数设置和目标端数据库JDBC连接参数设置，然后对要进行迁移的内容和字段映射关系进行设置，迁移工具提供默认的字段映射关系，可以满足多数场景数据的迁移。   启动配置好的迁移任务，表及数据迁移场景可以支持多任务同时执行，任务启动后，可以通过界面查看迁移进度，此时迁移工具根据用户配置通过JDBC从源端数据库获取表结构和数据内容，通过映射关系对源端内容进行转换，然后将转换好的表结构和数据内容通过JDBC写入目标端数据库，从而完成某个表的迁移，直到所有表迁移完成。 GBaseMigrationToolKit工具系统架构   DSQL脚本迁移过程中，工程师准备好需要迁移的DSQL脚本；将迁移工具部署在windows或linux服务器上，配置脚本的输入目录和文件以及相关的配置文件；启动配置好的迁移任务，任务启动后迁移工具根据用户配置从输入目录读取需要迁移的脚本文件，通过对DSQL语句进行解析和转换，转换完成后，直接输出到GBase 8a MPP上执行，同时记录输出后的执行语句，迁移完成。   DSQL脚本迁移工具系统架构

替换案例

以某保险公司国外软硬一体MPP产品数仓迁移项目为例，在原有环境下：性能压力大，国外软硬一体MPP产品数仓业务多、负载高、日报有时只能T+2更新、月报经常只能在15日发布；架构复杂，数据流向复杂，上下游异构数据库间数据同步依赖复杂调度程序；成本高，采用国外软硬一体MPP产品，软硬件紧耦合，使用和运维成本高；扩容难度大，数仓存储容量和处理性能已经达到瓶颈，无法纵向扩容，扩容需要中断业务，不能利旧。   使用GBase 8a MPP替换后，增量执行时间由原平台下的18小时提高到7小时，日增量基础数据可在每日 7:00 前完成，提升2.5倍；月度报表执行之前由原平台下的48小时提高到4.5小时，可在每月 3 日前完成数据发布，提升10倍；全量执行时间由7天提高到16小时，提升10倍，整体性能提升 2~10 倍。   GBase 8a MPP与国外软硬一体MPP产品在功能、性能、稳定性、可用性上相近，案例证明迁移成功率达到100%，迁移工作量可控，说明GBase 8a MPP可替换国外软硬一体MPP产品各种应用场景。   与此同时，在整体上随着GBASE产品的适配能力不断提升，云应用的引入；国内大数据技术的发展；国有硬件技术、数据中台、开源数据分析工具的发展；数据平台的各种产品已经可以解耦合，特别是大数据分析能力的可解耦合，国外软硬一体化解决方案也可以通过合作伙伴共同完成并取代。从而在海量数据时代，为各个数据密集型行业日益增大的数据需求上实现降本增效。