本文分享自华为云社区 《开源数据库Greenplum人去楼空?GaussDB(DWS)提供数仓新可能》,作者: 起个名字11111。
近日Greenplum关闭 GitHub 源码事件在数仓行业广受关注,代码业界纷纷猜测Greenplum即将闭源。作为一款典型的OLAP数据库,Greenplum的闭源势必带来数仓市场格局的调整与变化。国内有哪些备受瞩目的数仓产品呢?华为云数仓GaussDB(DWS)无疑是其中的佼佼者。
GaussDB(DWS)是一款兼容PostgreSQL生态,同时GaussDB(DWS)具备丰富的GP迁移成功经验。在某一迁移GP的成功案例中,面临客户原平台扩展性不足、数据加工链路长、数据分散等痛点问题,GaussDB(DWS)成功将Greenplum上数万个数据模型、数万个代码脚本、数百万行代码全部迁移至安全可控的数据仓库平台,基于GaussDB(DWS)的数据分析平台成功降低系统管理成本、技术复杂度,提升了资源配置效率、数据一致性,承载30000多个数据模型。
DWS丝滑兼容GP
GaussDB(DWS) 提供了配套的迁移工具,可支持TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala等常用数据分析系统的平滑迁移。支持SQL 2003标准,兼容Oracle的部分语法和数据结构,支持存储过程,可与常用BI(business intelligence)工具无缝对接,业务迁移修改量极小。
1.语法兼容性
(1)Greenplum和DWS均支持SQL 2003,兼容大部分DDL与DML语法。
(2)兼容GP所有数据类型。
(3)兼容GP所有操作符。
(4)兼容GP包括XML函数、JSON函数、窗口函数、聚集函数在内所有的复杂函数。
(5)支持自定义函数和PROCEDURE。
(6)支持Sort所有场景,包含FullSort/TopNSort。
(7)支持Agg/Join/Sort落盘功能。
(8)支持HashJoin/NestLoopJoin,完整支持Left/Right/Full/Inner/Anti/Semi六种Join规则。
(9)支持 GroupAgg/HashAgg/PlainAgg,及Agg所有相关特性。
(10)支持 HeapTable、Aocs Table的Scan,包含Seqscan和Index Scan。
2.生态兼容性
(1)社区工具兼容
数据集成:Talend、Kettle、DataX、DBT、Informatica等。
数据开发:Navicat、DBeaver、DbVisualizer等。
作业调度:Dataphin、Airflow等。
BI分析:QuickBI、永洪BI、FineBI、PowerBI、Tableau、Cognos、SmartBI等。
(2)华为工具兼容:
数据集成:CDM、DRS、Migration等
数据开发:SQL Editor、DataArts Studio、DAS
BI分析:DataArts Insight
DWS产品优势
1.易使用
(1) 一站式可视化便捷管理
GaussDB(DWS) 让您能够轻松完成从项目概念到生产部署的整个过程。通过使用GaussDB(DWS) 管理控制台,您不需要安装数据仓库软件,也不需要部署数据仓库服务器,就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。
您只需单击几下鼠标,就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。
(2) 与大数据无缝集成
您可以使用标准SQL查询HDFS、对象存储服务(Object Storage Service,OBS)上的数据,数据无需搬迁。
(3) 提供一键式异构数据库迁移工具
GaussDB(DWS) 提供配套的迁移工具,可支持MySQL、Oracle和Teradata的SQL脚本迁移到GaussDB(DWS) 。
2.高性能
(1) 云化分布式架构
GaussDB(DWS) 采用全并行的MPP架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。
(2) 查询高性能,万亿数据秒级响应
GaussDB(DWS) 通过算子并行执行、向量化执行引擎实现指令在寄存器并行执行,以及LLVM动态编译减少查询时冗余的条件逻辑判断,助力数据查询性能提升。
GaussDB(DWS)支持行列混合存储,可以同时为用户提供更优的数据压缩比(列存)、更好的索引性能(列存)、更好的点更新和点查询(行存)性能。
(3) 数据加载快
GaussDB(DWS)提供了GDS极速并行大规模数据加载工具。
3.易扩展
(1) 按需扩展:Shared-Nothing开放架构,可随时根据业务情况增加节点,扩展系统的数据存储能力和查询分析性能。
(2) 扩容后性能线性提升:容量和性能随集群规模线性提升,线性比0.8。
(3) 扩容不中断业务:扩容过程中支持数据增、删、改、查,及DDL操作(Drop/Truncate/Alter table),表级别在线扩容技术,扩容期间业务不中断、无感知。
支持在线升级:8.1.1及以上源版本支持大版本在线升级,8.1.3及以上源版本支持补丁在线升级,升级期间用户无需停止业务,业务存在闪级秒断。
4.高可靠
(1) ACID
支持分布式事务ACID(Atomicity,Consistency,Isolation,Durability),数据强一致保证。
(2) 全方位HA设计
GaussDB(DWS) 所有的软件进程均有主备保证,集群的协调节点(CN)、数据节点(DN)等逻辑组件全部有主备保证,能够保证在任意单点物理故障的情况下系统依然能够保证数据可靠、一致,同时还能对外提供服务。
(3) 安全
GaussDB(DWS) 支持数据透明加密,同时可与数据库安全服务(DBSS)对接,基于网络隔离及安全组规则,保护系统和用户隐私及数据安全。GaussDB(DWS)还支持自动数据全量、增量备份,提升数据可靠性。
5.低成本
按需付费:GaussDB(DWS) 按实际使用量和使用时长计费。您需要支付的费率很低,只需为实际消耗的资源付费。
门槛低:您无需前期投入较多固定成本,可以从低规格的数据仓库实例起步,后续随时根据业务情况弹性伸缩所需资源,按需开支。
结语:
华为云数据仓库GaussDB(DWS),历经13年的技术磨砺,已成为国内数据仓库中的佼佼者,是中国唯一获得数仓类CC安全认证的产品。华为云GaussDB(DWS)一站式全场景云数据仓库,提供PB级数据分析能力、多模分析和实时处理能力,以统一内核提供公有云、混合云等部署形态,用户体验一致。在金融、泛政府、电信、能源、交通、医疗、物流、电商等领域,帮助1700+大客户规模商用。
未来,GaussDB(DWS)将继续深耕云原生Serverless化、实时分析、湖仓一体、数智融合、HTAP等数仓核心技术,引领数据产业,创新构建开放融合、云化、实时、全场景、智慧的数据底座。