近日,国际数据公司 IDC 发布了首份聚焦大数据湖仓市场的报告《IDC MarketScape:中国实时湖仓市场2024年厂商评估》(Doc# CHC51768224,2024年7月)。结果显示,基于能力和战略纬度的综合评估,腾讯云位居“领导者”类别。IDC认为,未来五年,实时湖仓解决方案将在金融、互联网、制造、能源、零售、供应链管理等领域完成大规模落地。
关于 IDC MarketScape:
IDC MarketScape 厂商评估模型旨在为特定市场中信息和通信技术(ICT)厂商的竞争力提供一个概述。研究方法采用严格的定性和定量的标准的评分方法,以单一的图形说明每个厂商在特定市场中的位置。IDC MarketScape 提供了一个清晰的框架,在其中可以对 IT 和信息通信技术厂商的产品、服务、能力和策略以及当前和未来的市场成功因素进行有意义的比较。该框架还为技术买家提供了针对当前或潜在厂商的 360 度优劣势评估,为技术买家提供参考。
数据量级的攀升和计算场景的多元持续驱动着大数据技术革新,而实时湖仓代表了当下主流趋势和企业需求——针对实时场景,通过能兼容多种数据类型的湖仓一体技术架构,实现技术与应用场景的支持和融合。
根据 IDC 调研显示,当前整体市场实时数据处理需求占比在 15%–20% 左右,而互联网、电商零售领域的实时、近实时需求占比近五成。但广阔的应用前景落地也面临着挑战,一是终端用户在测试部署时关心对存量应用的适配性,二是技术供应商提供的一套解决方案需要可解耦性,避免全部推翻的可能性,要与已经建设的数据解析、报表应用等结合。
作为本次报告的“领导者”类别,腾讯云大数据已基于全新的技术架构、数据治理理念以及产品能力,构筑了国内领先的大数据产品矩阵,覆盖底层的大数据基础引擎 TCHouse 和 DLC、中层的一站式大数据开发治理平台 WeData、再到上层的 BI 应用,以及面向金融、政企等行业的大数据处理套件 TBDS。
腾讯云大数据通过数据仓库 TCHouse 和数据湖计算 DLC 助力企业快速落地实时湖仓技术。IDC 认为,使用腾讯云 DLC Serverless Spark 快速构建高灵活性的统一数据湖基座,TCHouse 可直接访问 DLC 湖存储并提供毫秒级高性能查询,过程无需经过任何数据复制和同步,从而使用户能同时享受到数据湖的灵活性、低成本、一体化存储的优势,以及云数仓TCHouse 提供的高性能查询优势。
数据开发治理平台 WeData,融合了包含数据集成、DataOps 数据开发,运维能力,以及数据建模、数据资产、数据质量、数据安全、数据服务等一系列数据管理和治理能力。
同时,面向金融、政企等行业,腾讯云 TBDS 全新升级云原生湖仓一体架构,在超大集群扩展、资源租户级隔离、存算分离下性能、金融级安全及自主技术创新等方面显著提升。支持私有化、混合云等灵活交付模式,为企业提供稳定可靠、高性能、易运维,灵活可控的大数据解决方案。
IDC 还认为,腾讯云实时湖仓可以更好地将大数据服务与生成式 AI 能力融合,DLC/EMR 的分布式计算框架提供了面向 AIGC 场景大规模数据预处理的参数优化,可以支撑大模型数据预处理算法的并行化执行来提升整个链路的效率,实现从 PB 级原始数据到高质量训练数据的加工清洗,并已为多家头部大模型公司提供算力。
越来越多的企业正在”实时湖仓“的创新技术架构下,为业务发展提供全新数据动力。某头部寿险企业基于腾讯云大数据平台服务能力,覆盖了秒、分钟、小时、日等全时效的数据处理场景,共支撑其数据部门及业务部门的数十项业务开发,高效支撑运行分析、活动分析、产品营销、精算再保、人工智能大模型等多个关键业务领域。
猫眼和腾讯云的合作后,海量数据入仓时效性从天级别别提升为分钟级别,部分任务执行效率提升 20~40%,为对猫眼电影票、演出交易运营,影院运营,电影 UGC 运营等核心业务提供数据支撑。
蔚来基于腾讯云大数据了打造实时湖仓与统一数据开发治理平台,实现综合成本优化,运维资源减少 60%,日均运行上万个任务实例,满足模型更新敏捷迭代需求,支撑自动驾驶业务发展。
除此之外,仅 2024 年,腾讯云实时湖仓解决方案还新增百家客户,覆盖政府、汽车、网络、AI、证券、审计、医疗等众多行业,市场认可度不断提升。未来,腾讯云大数据持续为各行业客户提供轻快、易用,智能的大数据平台。