AI云原生浅谈：好未来AI中台实践

AI时代的到来，给企业的底层IT资源的丰富与敏捷提出了更大的挑战，利用阿里云稳定、弹性的GPU云服务器，领先的GPU容器化共享和隔离技术，以及K8S集群管理平台，好未来通过云原生架构实现了对资源的灵活调度，为其AI中台奠定了敏捷而坚实的技术底座。

在2020年云栖大会上，好未来AI中台负责人刘东东，分享了他对AI云原生的理解与好未来的AI中台实践，本文为演讲内容整理。

大家好，我是好未来AI中台技术负责人刘东东。今天我给大家带来的演讲主题是《好未来AI云原生的浅谈》。我的分享主要分成四个部分：

第一，AI服务对云原生的挑战。
第二，AI与云原生的服务部署。
第三，AI与云原生的服务治理。
最后想谈一谈， K8S与Spring Cloud的有机结合。

1、AI服务对云原生的挑战

首先，我们来讲一讲AI服务对云原生的挑战。在云原生时代，AI服务其中最大的一个特点就是，需要更大的算力支持，以及更强大的一个服务的稳定性。

 

我们的服务不单单只是原来的一个单体服务，现在已经转入到一个集群服务。同时对性能的稳定性要求，已经从3个9，开始向5个9发起了挑战。

那么这些问题，已经不再是原有的传统技术架构能够解决的。所以我们需要一个新的技术架构。

这个新的技术架构是什么呢？就是云原生。

我们来看一看，云原生对我们带来的变化。云原生带来的最大变化，我总结为四个要点和两大方面。

四大要点分别是，DevOps、持续交付、微服务、容器的四个特点。两个方面则是服务部署和服务治理。当然，它还有12个要素的整体系统总结。

 

今天重点来讲的是服务部署和服务治理。

在云原生浪潮下，我们是如何处理服务部署和服务治理呢？

首先我们通过AI与云原生的服务部署，即通过K8S，加上一个资源的虚拟化，资源的池化等技术，解决了AI服务对各种硬件资源的数量级增长需求。

第二个，AI服务与云原生的服务治理进行有机结合。通过服务治理的技术，包括服务发现、HPA、负载均衡等，解决AI服务对5个9的SLA的需求。

 

2、AI服务的云原生部署

第一点谈一下是怎么把AI与云原生的服务部署结合起来的。