亚马逊云科技赋能飞轮科技数据仓库产品部署和应用

关键字: [出海日城市巡展, SelectDB, 实时数据分析, 数据延迟, 查询延迟, 数据导入, 数据更新, 融合统一, 湖仓融合, 多模统一, 实时批量统一, 弹性架构, 计算存储分离, 多计算集群, 存储分级, 开源开放, 软件层面开放, 标准层面开放, 数据层面开放, 云原生架构, 可视化管理]

本文字数: 1700, 阅读完需: 8 分钟

导读

在这场演讲中,飞轮科技的演讲者介绍了其实时数据仓库产品SelectDB在亚马逊云科技上的部署和应用。SelectDB是基于Apache Doris构建的现代化实时数仓,具有实时极速、融合统一、弹性架构和开源开放等特点。它可以实现秒级数据导入和查询,支持多种数据类型和负载,并提供计算存储分离、多集群读写等弹性能力。SelectDB在亚马逊云科技上提供了云原生架构、可视化管理工具、SaaS和BroCon两种部署模式,支持多云多地域部署,并满足企业级安全合规需求。该产品旨在为用户提供高性能、低成本、灵活可扩展的实时数据分析能力。

演讲精华

以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。

大家下午好,今天我将为大家分享飞轮科技的实时数据仓库产品SelectDB在亚马逊云科技(AWS)上的技术实践。这个分享主要包含两个部分的内容,一是SelectDB产品自身的定位以及亮点,二是该产品在亚马逊云科技上具备的具体能力。

首先,让我们来看看SelectDB的产品特性和核心定位。SelectDB是基于Apache Doris的一款商业化产品。在介绍SelectDB之前,我们先简单介绍一下Apache Doris。Apache Doris是以Apache社区的一个顶级项目,自2013年开始研发,到2017年开源之后,现已成为全球最活跃的大数据项目之一。从月活跃贡献者来看,Apache Doris已经超过了大家熟知的典型大数据项目如Spark、Flink、Elasticsearch等项目的活跃度。目前,全球有4000多家中大型企业在使用Apache Doris。

SelectDB则是基于Apache Doris构建的现代化实时数仓。在数据分析领域,SelectDB处于中间地位,它可以从下游的数据库、大数据或物联网领域吸收数据,然后对外提供数据分析能力,这符合大家对数据库和数据仓库的典型理解。基于SelectDB,我们推出了两款产品:SelectDB Cloud和企业版部署版。SelectDB Cloud是托管在全球主流云上的云产品,包括国内的阿里云、腾讯云、华为云,以及海外的亚马逊云科技、GCP,即将上线的Azure等。企业版部署则可以提供给用户私有化部署,以满足安全合规的需求。

SelectDB的主要应用场景有四个:实时报表与实时决策、交互分析、用户行为与画像分析、日志管理分析。前两个场景是大数据领域中的OLAP分析的典型应用,用户行为与画像分析则是近年来使用越来越多的场景,通常用于精准定位用户画像并进行精准营销推荐。日志管理分析则是我们更关注的深度合作领域。目前,SelectDB支持云上部署,采用多云混合云的部署模式。

作为一款现代化数据仓库,SelectDB具有四大核心特性,这使其在业界达到了火热的程度,甚至超过了Spark、Flink、Elasticsearch等典型产品。第一个特性是实时极速。数据分析越来越重视数据的新鲜度和分析性能的实时级别,这是第一点。通过在数据库或数据仓库内部集成实时导入API,以及基于该API进行数据库内部的CDC(变更数据捕获),SelectDB可以支持秒级甚至百毫秒级的数据导入。同时,SelectDB还与大数据生态中的工具进行了集成,以实现实时数据导入。

除了数据导入的实时性,SelectDB还支持数据的实时更新。传统的大数据架构中,由于数据无法更新,报表通常需要在夜间重新计算并与前一天的数据进行环比,从而导致了天级的延迟。而SelectDB则能够在原有数据的基础上进行秒级更新,大大提高了数据的新鲜度。SelectDB还针对原始数据日志的明细查询、报表阈值查询、表结构变更等场景做了大量优化工作。

第二个层面是查询延迟。为了做到数据进入数据仓库后的极速查询,SelectDB在三大典型场景下都达到了极致的性能:高并发点查询可以做到10毫秒量级的延迟,并支持万级QPS;大宽表查询性能达到了世界第一的水平,超过了Snowflake、Amazon Redshift等产品;复杂关联查询方面,SelectDB基于最新优化器和执行引擎也做到了业界领先水平。

第二个核心特性是融合统一。现代大数据团队通常只有少数人员,但需要使用十几种不同的软件系统,这种模式并不健康。SelectDB旨在通过一套All-in-One的系统来满足用户的多种数据分析需求。具体来说,第一是湖仓融合,支持多种数据源的联邦查询,从而可以统一查询引擎,简化存储系统。第二是多模统一,支持结构化、半结构化、文本等多种数据类型的分析。第三是实时批一体,SelectDB内置数据清洗能力,支持TB级以内的库内分析,避免用户依赖流处理和批处理系统,性能比Spark等产品高出10倍。

第三个核心特性是弹性架构。为了在云上追求弹性,SelectDB将计算和存储分离,存储整体落到对象存储上,降低了10倍的存储成本。计算层面则可以根据业务高峰与低峰进行伸缩。除了整体的计算存储分离,SelectDB还支持多个计算集群的部署,以实现读写分离、业务隔离等场景,同时支持冷热数据分级存储,进一步降低存储成本。

第四个核心特性是开源开放。SelectDB与开源Apache Doris100%兼容,包括底层数据格式和访问协议,用户可以无缝地在两者之间切换。SelectDB采用标准SQL方言和MySQL连接协议,降低了学习成本,同时也可以直接对接MySQL生态中的各种工具和应用。此外,SelectDB还提供高速数据读取接口,支持与人工智能等场景对接。

接下来,我们看看SelectDB在亚马逊云科技上的产品形态。首先,SelectDB是一款云原生实时数仓。它的云原生架构可以带来极大程度的成本降低:对象存储降低了10倍的单位存储成本和数据副本冗余;计算层面可以按需伸缩,满足不同业务场景。比如,多计算集群可以实现读写分离、在线离线业务隔离、测试线上环境隔离等。此外,SelectDB还提供了管控平台和数据开发平台两款可视化工具,帮助降低运维复杂度,提升开发效率。

在亚马逊云科技上,SelectDB支持SaaS模式和BrOC模式两种部署模式。SaaS模式是云厂商提供的经典模式,所有资源都部署在云厂商那里,用户只需购买使用。但越来越多用户出于合规性考虑,希望采用BrOC模式,即将控制面部署在云厂商,将数据计算和存储部署在用户自身环境中。无论采用哪种模式,SelectDB都支持多云多地域部署,在不同云上的使用体验保持一致。

最后,SelectDB还提供了一系列企业级特性,如备份恢复、跨集群数据同步(以支持两地三中心容灾)、开放数据接入、系统安全等。为了满足企业出海的合规需求,SelectDB还通过了国内等保、SOC等级以及ISO的安全合规认证。

总之,SelectDB作为一款现代化实时数仓产品,在亚马逊云科技上可以提供极速实时的数据分析能力,同时具备融合统一、弹性伸缩、开源开放等优势,并支持多种云端部署模式,满足企业不同场景的需求。如果大家有兴趣,欢迎扫描我们的公众号或二维码,免费体验SelectDB。

总结

飞轮科技的 SelectDB 是一款基于 Apache Doris 构建的现代化实时数仓产品,专注于数据分析领域。它具有实时极速、融合统一、弹性架构和开源开放四大核心特性,能够满足实时报表与决策、交互分析、用户行为与画像分析、日志管理分析等多种应用场景需求。SelectDB 在亚马逊云科技上提供云原生架构、可视化管理、多种部署模式和企业级特性,帮助用户降低成本、提高效率,并满足合规需求。它采用开放的软件、标准和数据设计理念,与开源 Apache Doris 保持高度兼容,为用户提供灵活的选择。SelectDB 致力于为用户打造高性能、低成本、安全合规的现代化数据分析平台。