混合云时代的数据“淘金热”-CSDN博客

本文链接：https://blog.csdn.net/Bmo40mqfG249H/article/details/141451486

早在七八年前，“混合云时代已经到来”的提法就甚嚣尘上；三四年前，又有厂商断言“混合云将迎来黄金发展时期”；现在，关于“真混合云”的讨论则成了业界关注的焦点。

在近日举行的Cloudera（肯睿）EVOLVE24 APAC大会上，Cloudera公司CEO Charles Sansbury再次强调Cloudera作为数据、分析和人工智能领域领先的混合平台的定位，并表示Cloudera能够为企业用户提供真正的混合数据服务。

混合环境统一纳管

有预测显示，2024年，中国混合云市场的整体规模将达到892.9亿元；2025年，全球混合云市场的整体规模将突破2100亿美元。随着云计算、大数据、人工智能等技术的深度融合，混合云将变得更加智能、高效和安全。

数据与智能就像是一枚硬币的两面，是相辅相成的关系，两者相互促进，共同推动着技术创新与业务的发展。一方面，混合云通过提供高效、灵活、可扩展的计算与存储资源，为AI应用构筑强大的数字底座，不断加速AI模型的训练和推理。另一方面，AI、机器学习等技术的不断演进，又为混合云的构建提供了新的可能性，能够进一步优化混合云中的资源分配，提高资源利用率，并降低运营成本。

“AI时代，用户需要敏捷、灵活的数据供应。”Cloudera公司首席战略官（CSO）Abhas Ricky表示，“企业不仅要管理好数据，更要让数据转变为资产，推动企业业务的创新。数据分析与AI融合的混合平台为企业增添了强劲的混合动力引擎。”

在所有的场景中容纳、管理所有的数据，这是Cloudera努力的方向。也正是在此目标的引领下，Cloudera才不遗余力地打造混合数据管理平台及解决方案，助力企业的数智化转型。

四大支柱撑起真正的混合数据平台

现在许多上云的用户，使用的都是混合云模式，公有云与私有云共存，并且逐步拓展至边缘。Abhas Ricky表示，所谓“真的”混合云，从数据的角度来说，就是无需做数据重构。

首先，混合云虽然是多种不同模式的云混合在一起，但是必须保证数据、体验的一致性。混合云也是一个统一的整体，从数据中心到云再到边缘，呈现给客户的是一个单一的运行平台，工作负载、数据可以在混合云平台之上自由地移动，没有限制或绑定。从数据全生命周期的角度，由数据的采集到存储、处理、分析直至消亡，都可以在混合云平台上无障碍地实现。

Cloudera首席营收官（CRO）Frank O’Dowd介绍说，公司在技术和产品研发上投入了大量资金。其中，Cloudera Data Platform（CDP）可以说是非常具有代表性，也是很成功的产品之一，引领了现代数据架构的发展。Cloudera一直围绕着混合云、易用性、可用性等，不断增强CDP的性能和功能。如今，越来越多的行业用户开始使用CDP作为其核心数据平台。

CDP提供了构建和管理混合云基础架构的关键能力，支持在多个公有云、私有云以及本地环境中部署和运行，使得客户可以跨越不同的云环境进行数据访问和分析，从而保证跨云环境的一致体验。这意味着无论数据存储在何处，用户都可以通过CDP进行无缝访问和管理。CDP中的数据编织和编排功能，允许用户以自助服务的方式智能、安全地动态编排不同的数据源，包括数据的集成、清洗、转换和加载等，确保数据在不同云环境之间的流动性和一致性。

其次，由于数据的种类繁杂，包括结构化、半结构化和非结构化数据，增加了处理和应用的复杂程度。真的混合云要能够支持所有格式的数据。一个理想的方式就是构建一个开放的数据湖仓一体架构，既能存储和管理海量复杂的数据，又可以为数据分析和AI模型提供良好的支撑。

CDP支持湖仓一体架构，即集成并统一了数据仓库和数据湖的功能，使得用户能够在单一平台上运行AI、BI、机器学习和数据工程等多种类型的数据分析工作负载，并且提高了数据处理的效率及灵活性，从而更好地满足企业多样化的数据分析需求，同时简化工作流程。

再次，真的混合云能够进一步提高数据的可见性和可访问性，通过一个统一的全数据视图，让用户获得更深刻的洞察。Cloudera发起的企业AI和现代化数据架构现状调查显示，虽然绝大多数企业或多或少地采用了AI（88%），但许多企业仍然因缺乏必要的数据基础设施和员工技能，而无法真正从AI中受益。

Abhas Ricky解释说，采用AI最关键的一点是，在数据驻留的位置管理数据，也就是能够在数据所在的位置以低成本的方式运行模型。将AI用于数据处理和分析已经是大势所趋。Cloudera提供了可以将分析与AI应用于业务数据的真正的混合开放式湖仓一体架构。目前，Cloudera管理着全球25EB数据，其规模甚至可以媲美大型云服务商。凭借技术、架构和数据上得天独厚的优势，Cloudera可以帮助企业高效、安全地处理和管理数据。

Cloudera最新发布了两款Cloudera Observability Premium产品，旨在简化和自动化平台管理，为混合云提供统一的观测功能。其一，Cloudera Observability Premium On-Premises支持客户在其数据中心内运行观测功能，即使在物理网络隔离的配置中，也可确保最佳监控、故障排除、财务管理、数据观测功能和自动化操作。其二，Cloudera Observability Premium for Public Cloud Data Hub将所有高级功能提供给公有云用户，包括实时监控、高级财务治理、自动化操作和数据观测功能等。

近些年来，中国政府对新能源汽车的监测和信息共享提出了更高要求。这就需要为车企数据监测提供更强大的算力、存储、传输和应用。在这种背景下，上海大众构建了全新的整车数据监测平台，并于2022年成功将数据平台升级为CDP，由此也成为中国国内汽车行业首批升级到CDP的企业之一。CDP能够解决实时数据日益增加所产生的存储、管理和计算难题，提高了车辆数据管理能力，包括减少67%的数据存储空间、增强数据采集能力，并使批处理工作性能提高2.5倍。

最后，真的混合云是建立在统一的数据治理之上的，能够在保证开放性的同时，满足用户日益增长的数据安全和保护需求。CDP本身具备全面的安全和治理功能，包括数据加密、访问控制、审计日志等。这些功能可以确保数据在混合云环境中的安全性与合规性。另外，CDP还支持多租户和隔离，允许不同的用户或组织在同一平台上独立运行和管理自己的数据及服务，其严格的工作负载隔离机制，避免了不同租户之间数据和服务的相互干扰。

在EVOLVE24 APAC大会上，Cloudera为其元数据管理解决方案新增了两项关键增强功能。其一，全新的Iceberg REST Catalog集成。允许使用第三方引擎无缝访问Apache Iceberg表，帮助用户在充分利用各种工具的同时，确保统一的安全性和治理。该集成能够简化数据访问，并维持各个平台上的数据权限和溯源，通过更大程度地减少独立安全层数量，降低成本和数据泄露的风险。其二，共享数据体验（SDX）发布了以云原生容器形式提供的技术预览版。该功能实现了增强的端到端的统一数据安全、治理和元数据管理，具有更卓越的弹性、扩展性和性能。同时，SDX还提供各种工具的自助式数据访问，通过整合安全功能，最大程度地降低违规风险，并支持覆盖云和本地数据的统一视图窗口管理。

AIGC时代更要夯实数据底座

混合云凭借其灵活的架构，为企业提供了一个既能满足数据安全性和管理需求，又能实现成本优化和资源高效利用的解决方案。