干货 | 携程AI推理性能的自动化优化实践

作者简介

 

携程度假AI研发团队致力于为携程旅游事业部提供丰富的AI技术产品，其中性能优化组为AI模型提供全方位的优化方案，提升推理性能降低成本，实现AI技术在旅游场景的成功落地。

一、背景

近年来，人工智能逐渐在安防，教育，医疗和旅游等工业和生活场景中落地开花。在携程旅游业务上，AI技术同样广泛覆盖了多个旅游产品和旅游服务领域，携程度假AI研发根据旅游的特定场景和业务需求，将自然语言处理，机器翻译，计算机视觉，搜索排序等主流AI技术成功应用于旅游度假的多个业务线，例如自由行，跟团游，签证，玩乐和租车等。

从技术角度，为了适应不同的业务场景需求，涉及到多种AI技术，包括传统机器学习，卷积神经网络，Transformer等深度学习模型结构，以及知识图谱和图神经网络等技术领域。同时，为了充分挖掘AI技术的优势，模型设计复杂度日渐提升，包括模型深度，宽度以及结构复杂度等各个维度，计算量的增大使得AI推理性能瓶颈日益凸显，尤其是实时性的业务需求对推理速度要求更高。为了追求最佳推理性能，往往需要手动进行逐个优化，涉及的开发，部署和沟通成本都很高。主要问题集中在：

• 模型结构种类多，性能瓶颈差异较大，适用的优化方法各有不同，手动优化成本高；

• 优化方法众多，自上而下，涉及多种模型压缩方式，系统级，运行时优化等，手动优化门槛高；

• 逐个手动优化，可推广性差，技术覆盖面有限；

• 硬件平台的差异，需要针对性调优，导致优化的人力成本和部署成本都很高；

• 新模型的发布和迭代，需要应用优化方法，涉及较高的沟通和接入成本，同时带来了性能的不稳定性；

• 模型压缩技术对不同模型的优化效果有所差异，可能需要进行模型的再训练，训练和数据准备流程较长，效率低下；

因此，为了降低优化，部署和迭代成本，提高工作效率，并保证性能稳定，我们尝试搭建模型自动化优化平台，旨在为算法模型提供更全面易用，稳定性更好，使用和维护成本更低的优化解决方案。

二、优化平台的主要框架

从性能优化方法论的角度，无论是自动优化还是手动优化，主要关注以下两大方向：

• 降低算法复杂度：可通过调整或简化模型结构，或者保持结构不变，改进算法实现效率；

• 充分发挥软硬件性能：模型结构和算法不变，优化软件执行效率，使用硬件优势特征，最大化硬件执行效率；

围绕这两大优化方向以及人工智能的主流技术方向，优化平台的整体架构层自下而上可以划分为：

• 硬件平台和操作系统层，包含x86架构的CPU，GPU，ARM，FPGA等多种平台，操作系统主要是Linux OS；

• 引擎框架层，主要是Tensorflow，Pytorch等人工智能主流框架；

• 推理优化层，主要是由我们结合业务场景和实际需求进行自主研发的优化技术，包含高性能算子库，图优化和修改工具以及量化蒸馏等模型压缩模块；

• 算法模型：包含业界常用模型，例如以卷积为主要结构的CV模型，Resnet，GoogleNet，YOLO等；以Transformer为主要结构的NLP模型Bert，Albert等；

• 应用场景：主要体现在旅游场景中的实际应用，例如智能客服平台，机器翻译，搜索排序等应用。

图1 模型平台的框架组成

三、自动化优化流程

优化平台的搭建能够系统有效地将优化技术整合起来，并快速应用于实际需求，但是如果不实现自动化优化，优化效率比较低，部署和迭代成本，沟通和接入成本高。因此我们建立了自动化优化流程，将所支持的优化技术涵盖在内，结合模型训练平台，数据标注平台，从模型设计，模型训练到模型推理优化，模型部署全链路，实现零介入无感知的优化效果，大大提升工作效率以及整体优化效果的稳定性。

图