百度飞桨亮相GTC元脑生态技术论坛 Pipeline Serving加速预测服务应用落地

点击左上方蓝字关注我们

12月份，AI行业年度盛会GTC中国线上大会重磅来袭。在备受关注的GTC元脑生态技术论坛上，浪潮联合百度、中科极限元、趋动科技、睿沿科技、海克斯康等伙伴，带来了人工智能算法开发、方案、架构、实践等精彩分享。其中，百度资深工程师赵历以“如何使用飞桨 Pipeline Serving 加速预测服务在企业的搭建”为主题，对百度飞桨深度学习平台的Paddle Serving产品的异步流水线定位、发展历程和核心框架进行全面介绍。

飞桨（PaddlePaddle）以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术领先、功能完备的产业级深度学习平台，集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。目前，飞桨已凝聚超265万开发者，服务企业10万家，基于飞桨开源深度学习平台产生了34万个模型。飞桨助力开发者快速实现AI想法，快速上线AI业务。帮助越来越多的行业完成AI赋能，实现产业智能化升级。

作为飞桨的技术负责人之一，赵历对Paddle Serving在飞桨生态中的定位和作用进行了解读：“为了解决多模型组合的通用问题，Paddle Serving产品实现了一套基于有向无环图的多模型组合微服务‘Pipeline Serving’功能，旨在帮助开发者轻松实现从移动端、服务器端和和智能设备调用深度学习模型的远程预测服务。”

Paddle Serving围绕工业级深度学习模型部署场景进行设计，提供多模型管理、模型热加载、基于BRPC的高并发低延迟响应能力、在线模型A/B实验等功能。与Paddle训练框架互相配合的API可以让用户从训练到远程部署进行无缝过度，提升深度学习模型的落地效率。此外，在近期月底的v0.4.0发版中即将支持Pipeline Serving、Java客戶端API、原生支持Windows操作系统的Local Predictor功能、TensorRT的支持等功能。

赵历表示，PaddlePaddle具备完整的端到端的全流程部署方案，同时提供性能领先的底层加速库和推理引擎和服务器端的快速部署能力。部署在浪潮NF5488A5服务器上的Paddle Serving预测服务，可以充分发挥浪潮服务器高性能、高带宽和易部署等技术优势，为服务平台和AI企业提供强大的支撑力。

随着框架的不断升级和完善，Paddle Serving的易用性、高性能、灵活性、双生态的特点正在被越来越多的AI开发人员认可，框架的下载量和社区活跃度的明显提升就是最好的证明。

在后续的演示和数据分析中，赵历对Paddle Serving 的模型即服务（Model as a Service，MaaS）的理念进行了实战演示。首先，通过全面打通并自动化飞桨训练框架与 Paddle Serving 的衔接流程，让用户在使用飞桨成功完成模型训练的那一刻，收获的不再只是模型，而是同时拥有了该模型的推理服务，使用户能够在几分钟内将模型转化为一个可以在服务器端部署的远程服务。其次，为了解决单算子多模型这类通用问题，采用了高效引擎、灵活易用（进程+线程、远程+本地）等设计，基于图执行引擎的Pipeline Serving模式，使用全异步的方式大幅提升吞吐和GPU的利用率，在全面降低成本的同时，更对OP和Channel做了大量的容错处理、性能优化的工作，对用户自定义的接口也提供了简单易用的使用方式。

“Paddle Serving 作为飞桨的服务化部署框架，长期目标就是为人工智能落地的最后一公里提供越来越专业、可靠、易用的服务。Paddle Serving 将在接下来的版本中继续降低用户学习和使用门槛，提供更多语言类型的客户端支持，以及相关部署组件，开放更多开箱即用的模型。”分享的最后，赵历对Paddle Serving的未来发展做出展望。

如在使用过程中有问题，可加入飞桨官方QQ群进行交流：1108045677。

如果您想详细了解更多飞桨的相关内容，请参阅以下文档。

·飞桨PaddlePaddle项目地址·

GitHub: 

https://github.com/PaddlePaddle/PaddlePaddle 

Gitee: 

https://Gitee.com/PaddlePaddle/PaddlePaddle 

·飞桨官网地址·

https://www.paddlepaddle.org.cn/

微信号 : PaddleOpenSource

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术领先、功能完备的产业级深度学习平台，包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件，持续开源核心能力，为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台，针对企业级需求增强了相应特性，包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业，提供零门槛、预置丰富网络和模型、便捷高效的开发平台；BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。