基于函数计算的 Serverless AI 推理

前言概述

本文介绍了使用函数计算部署深度学习 AI 推理的最佳实践, 其中包括使用 FUN 工具一键部署安装第三方依赖、一键部署、本地调试以及压测评估， 全方位展现函数计算的开发敏捷特性、自动弹性伸缩能力、免运维和完善的监控设施。

1.1 DEMO 概述

通过上传一个猫或者狗的照片， 识别出这个照片里面的动物是猫还是狗

• DEMO 示例效果入口： http://sz.mofangdegisn.cn
• DEMO 示例工程地址： https://github.com/awesome-fc/cat-dog-classify

1.2 解决方案

如上图所示， 当多个用户通过对外提供的 url 访问推理服务时候，每秒的请求几百上千都没有关系， 函数计算平台会自动伸缩， 提供足够的执行实例来响应用户的请求， 同时函数计算提供了完善的监控设施来监控您的函数运行情况。

1.3. Serverless 方案与传统自建服务方案对比

1.3.1 卓越的工程效率

	自建服务	函数计算 Serverless
基础设施	需要用户采购和管理	无
开发效率	除了必要的业务逻辑开发,需要自己建立相同线上运行环境， 包括相关软件的安装、服务配置、安全更新等一系列问题	只需要专注业务逻辑的开发, 配合 FUN 工具一键资源编排和部署
学习上手成本	可能使用 K8S 或弹性伸缩( ESS )，需要了解更多的产品、名词和参数的意义	会编写对应的语言的函数代码即可

1.3.2 弹性伸缩免运维

	自建服务	函数计算 Serverless
弹性高可用	需要自建负载均衡 (SLB)，弹性伸缩，扩容缩容速度较 FC 慢	FC系统固有毫秒级别弹性伸缩，快速实现底层扩容以应对峰值压力，免运维
监控报警查询	ECS 级别的 metrics	提供更细粒度的函数执行情况，每次访问函数执行的 latency 和日志等， 更加完善的报警监控机制

1.3.3 更低的成本

• 函数计算 (FC) 固有自动伸缩和负载均衡功能，用户不需要购买负载均衡 (SLB) 和弹性伸缩。
• 具有明显波峰波谷的用户访问场景(比如只有部分时间段有请求，其他时间甚至没有请求)，选择按需付费，只需为实际使用的计算资源付费。

对于明显波峰波谷或者稀疏调用具有低成本优势， 同时还保持了弹性能力，以后业务规模做大以后并没有技术切换成本，同时财务成本增长配合预付费也能保持平滑。