AI时代的到来,给企业的底层IT资源的丰富与敏捷提出了更大的挑战,利用阿里云稳定、弹性的GPU云服务器,领先的GPU容器化共享和隔离技术,以及K8S集群管理平台,好未来通过云原生架构实现了对资源的灵活调度,为其AI中台奠定了敏捷而坚实的技术底座。
在2020年云栖大会上,好未来AI中台负责人刘东东,分享了他对AI云原生的理解与好未来的AI中台实践,本文为演讲内容整理。
大家好,我是好未来AI中台技术负责人刘东东。今天我给大家带来的演讲主题是《好未来AI云原生的浅谈》。我的分享主要分成四个部分:
第一,AI服务对云原生的挑战。
第二,AI与云原生的服务部署。
第三,AI与云原生的服务治理。
最后想谈一谈, K8S与Spring Cloud的有机结合。
1、AI服务对云原生的挑战
首先,我们来讲一讲AI服务对云原生的挑战。在云原生时代,AI服务其中最大的一个特点就是,需要更大的算力支持,以及更强大的一个服务的稳定性。
我们的服务不单单只是原来的一个单体服务,现在已经转入到一个集群服务。同时对性能的稳定性要求,已经从3个9,开始向5个9发起了挑战。
那么这些问题,已经不再是原有的传统技术架构能够解决的。所以我们需要一个新的技术架构。
这个新的技术架构是什么呢?就是云原生。
我们来看一看,云原生对我们带来的变化。云原生带来的最大变化,我总结为四个要点和两大方面。
四大要点分别是,DevOps、持续交付、微服务、容器的四个特点。两个方面则是服务部署和服务治理。当然,它还有12个要素的整体系统总结。
今天重点来讲的是服务部署和服务治理。
在云原生浪潮下,我们是如何处理服务部署和服务治理呢?
首先我们通过AI与云原生的服务部署,即通过K8S,加上一个资源的虚拟化,资源的池化等技术,解决了AI服务对各种硬件资源的数量级增长需求。
第二个,AI服务与云原生的服务治理进行有机结合。通过服务治理的技术,包括服务发现、HPA、负载均衡等,解决AI服务对5个9的SLA的需求。
2、AI服务的云原生部署
第一点谈一下是怎么把AI与云原生的服务部署结合起来的。