云原生技术与降本增效
2020 年,新冠疫情横扫全球,大量的企业停工、工厂停产、供应链中断,给全球的经济带来巨大的冲击。有 65%的企业开始考虑通过上云的方式提升企业 IT 信息化的能力来应对未来可能出现的其他系统性风险。而云原生技术作为时下最先进的上云方式,成为了大多数企业进行 IT 信息化转型的最佳选择。
知名顾问机构 Capgemini 在 2020 年的“Cloud Native Comes of Age”调研结果显示,仅有 15%的企业已经将新应用程序建立在云原生环境,但接下来的三年这个比例将提升到 52%。报告中,在云原生环境中部署超过 20% 应用的企业被定义为领先者,他们是如何看待云原生技术呢?
87%的受访企业表示,云原生提高了效率并降低了成本。84%的受访企业表示,云原生推动了更好的客户体验。80%的受访企业表示,新产品和服务的推行等待时间显着降低。
而在2021年CNCF《FinOps Kubernetes Report》的调研报告显示,迁移至 Kubernetes 平台后,68%的受访者表示所在企业计算资源成本有所增加,36%的受访者表示成本飙升超过 20%。即便是作为大多数领先者企业共识的降本增效特性,在很多企业进行云原生转型的过程中依旧障碍重重,甚至付出了更多的成本,为什么已经采用了云原生技术,却还是离理想那么遥远?
从一个真实的案例讲起
Raymond 是一家互联网电商的 IT 平台负责人,在过去 2 年的时间里,带领团队将公司所有的业务进行了云原生化改造。Raymond 选择云原生技术作为平台架构方式的初衷是非常朴素的,因为以微服务、容器、DevOps 为代表的云原生技术,可以将不同类型的应用进行统一的交付和运维,降低管理成本;可以通过流水线实现自动化的构建和交付,提升研发速度;可以通过容器技术实现应用之间的资源共享与弹性,降低资源的浪费;可以通过不同类型应用间的混部与抢占,进一步压榨集群资源的利用率。
业务平台 | 业务描述 |
电商主站 | 周期性业务,工作日白天为低谷,工作日晚上与节假日为高峰,大促场景下存在激峰流量。 |
大数据平台 | 包含数据湖的即席查询与报表/ETL作业,即席查询主要以Presto为主,作业主要数据研发通过工作流提交;ETL作业主要以Spark离线作业为主。 |
微商家平台 | 多租户SaaS化业务,每个租户独立配额和用量。 |
直播平台 | 周期性业务,工作日白天为低谷,工作日晚上与节假日为高峰,存在不可预期的峰值流量。 |
转码/训练平台 | 临时任务,碎片型作业,运行时间较短。 |
Raymond 的团队负责公司五大平台的稳定运行,根据业务的特性、运维的便捷性、安全的等级、成本的考量,Raymond 将业务拆分了三个集群:
- 集群 A-主站/转码集群
主站的业务稳定性要求较高,整个集群的规划以静态节点池为主,配合定时伸缩的能力在业务高峰到来之前提前扩容。白天容量较低的时候,通过混部转码业务分时复用集群的空间,从而实现资源效率的提升。
- 集群 B-直播/大数据集
将直播业务和大数据业务放在一个集群中的原因是,无论是数据湖的即席查询、直播业务还是大数据的 ETL 作业,在单位时间内对计算资源的消耗都是非常大的,但是业务的容量大小存在比较大的随机性,高弹性的场景更适合两者的业务。
- 集群 C-微商家集群
将微商家业务独立放在一个集群内,主要是出于安全性的考虑,隔离租户数据与业务数据。此外,独立的集群也可以更好地进行成本核算。
作为非常资深的云原生领域专家,Raymond 的技术选型、集群的拆分、优化的策略都是无可挑剔的,业务云原生化的第一个月,稳定又高效,一切似乎都在向着预想中的结果前进着。
“上个月的费用增加了 70%?”,在拿到最新的