2023大数据云原生技术发展研究报告

数字经济正在成为改变全球竞争格局的关键力量，云原生作为云计算发展和演进的重要技术方向，是激活数据要素潜能、驱动经济社会数字化转型、推动数字中国建设的创新引擎。据IDC预测，到2025年，我国50%的基础设施、安全、数据和网络产品将需要基于云的控制平台，以实现广泛的自动化，并有望大幅降低持续运营成本。

云原生发展现状

云原生是面向云应用设计的一种思想理念，充分发挥云效能的最佳实践路径，帮助企业构建弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度。代表技术包括不可变基础设施、服务网格、声明式API及Serverless等。

当前，云计算的发展已进入成熟期，云原生作为新型基础设施支撑数字化转型的重要支撑技术，逐渐在人工智能、大数据、边缘计算、5G等新兴领域崭露头角，成为驱动数字基础设施的强大引擎。伴随全行业上云的逐步深化，企业云原生化转型进程将进一步加速。

从技术特征方面来看，云原生技术架构具备以下典型特征：极致的弹性能力，不同于虚拟机分钟级的弹性响应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应；服务自治故障自愈能力，基于云原生技术栈构建的平台具有高度自动化的分发调度调谐机制，可实现应用故障的自动摘除与重构，具有极强的自愈能力及随意处置性；大规模可复制能力，可实现跨区域、跨平台甚至跨服务商的规模化复制部署能力。

从应用价值方面来看，异构资源标准化，容器技术有效解决了异构环境的部署一致性问题，促进了资源的标准化，为服务化、自动化提供了基础；加速数字基础设施升级解放生产力，降低用户数字化技术的使用门槛，提高资源的复合利用率，变革研发运营的生产方式，打破组织壁垒，实现研发与运维的跨域协同，提升交付效率，解放生产力；提升业务应用的迭代速度，赋能业务创新。云原生技术实现了应用的敏捷开发，大幅提升交付速度，降低业务试错成本，高效响应用户需求，增强用户体验加速业务创新。

从Gartner《2022年重要战略技术趋势》技术趋势来看，云原生平台是一种可以建立全新应用架构的技术，具有弹性、灵活和敏捷的特点，可快速对数字变化做出响应，如图所示。

Gartner2022年重要战略技术趋势

云原生促进大数据效率提升

随着云原生概念的兴起，大数据技术产品逐步迭代升级，云原生大数据技术产品开始成为产业变革的浪潮。利用云原生，大数据技术产品从三个方面实现了效率提升:

一是整体架构为实现弹性伸缩进一步解耦和改造，架构在以往存算分离的基础上，伴随调度、安全、解析等模块的进一步解耦，各模块与容器等底层资源单元适配，分别实现弹性扩缩容，从而实现资源利用率30%~40%的提升。

二是应用接口函数化，即利用Serverless的概念，让更多如统计、机器学习、流程处理等能力封装成函数接口，用户可根据实际业务需要，达到更细粒度的按需使用和按需付费，在提升2~3倍发布效率的同时，也有效降低了成本。

三是支持多云部署，以Snowflake为代表的企业正尝试探索第三方云数据仓服务模式，即提升与各公有云的兼容能力，支持多云部署，方便客户在多云之间无缝迁移，从而降低客户被单一公有云绑定的风险。

云原生大数据平台在产业中的应用现状

云原生技术体系给产业带来了价值，技术从来都只是解决问题的手段，技术背后蕴含的思想理念才是其产生和发展的根本。云原生之所以能在产业中迅速流行，是由于在数字化时代，企业业务的落脚点主要都是数字化的应用，随着产业竞争加剧，企业在经营管理中普遍会面临对IT资源的需求更弹性、业务需求快速变化、业务系统越来越复杂等问题。而云原生能够帮助企业以应用为中心，从基础设施，到IT架构，到应用开发运营流程进行全方位的改造，从而实现应用现代化，以更好地应对上述的多种不确定性因素所带来的问题。

云原生大数据平台在产业中的价值同样不可忽视，云原生大数据平台能够很好地取代传统大数据平台，帮助企业在数字化转型过程中实现降本增效的目标，其应用场景包括：

1、高效的集群部署和运维

有的企业作为技术提供方要为多个内部或外部的机构进行大数据集群的部署和实施，但传统大数据平台的软件部署、组件互相适配、计算引擎调优等方案相对复杂，手工部署的步骤多，导致集群部署周期长，项目实施成本很高，运维流程复杂，运维人员能力要求高。在这种场景下，云原生大数据平台可以大幅度提升实施项目的部署效率，降低项目实施运维人力和时间成本。

2、提升IT架构资源效率

有的企业在生产环境中运行多种类型的数据应用、不同类型的存储引擎、实时和批处理的计算作业。在传统大数据平台环境下，一般都是采用独立的虚机集群来部署这样的生产环境，导致资源使用率很低。云原生大数据平台可提升整体资源使用效率，降低IT架构的投入成本。

3、传统技术的升级改造

传统大数据平台因为技术扩展迭代流程比较慢，不能及时解决运维中碰到的性能瓶颈，同时大数据组件之间软件包依赖很复杂，导致组件升级困难，新的组件集成耗时费力。使用传统大数据平台的技术团队面对运维压力疲于奔命，没有精力专注于业务开发和数据价值的发现。传统大数据平台逐步迁移到云原生大数据平台后，可以显著提升运维效率，降低运维成本，解放技术团队的生产力。

4、自助式的数字创新

有的企业需要有多个大数据集群服务不同的业务部门，业务部门的数据科学家希望能自助式地尝试新的云原生人工智能机器学习工具。很显然，传统大数据平台满足不了这种自助式需要，通过云原生大数据平台部署提升多平台管理效率，提供数据分析和人工智能开发工具的自助式发布，降低整体资源消耗的成本，加速数据价值的创造过程。

未完待续……关注公众号，回复关键字【2023云原生】领取报告完整版。

- FIN -