Paddle Inference推理部署

Paddle Inference推理部署
飞桨(PaddlePaddle)是集深度学习核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台，已被中国企业广泛使用，深度契合企业应用需求，拥有活跃的开发者社区生态。提供丰富的官方支持模型集合，并推出全类型的高性能部署和集成方案供开发者使用。
技术优势
• 开发便捷的深度学习框架
飞桨深度学习框架基于编程一致的深度学习计算抽象以及对应的前后端设计，拥有易学易用的前端编程界面和统一高效的内部核心架构，对普通开发者而言更容易上手并具备领先的训练性能。飞桨自然完备兼容命令式和声明式两种编程范式，并可以一行命令实现动静转换，兼顾灵活开发、高效训练和便捷部署三大特点。此外，飞桨深度学习框架还提供了领先的深度学习自动化技术，网络结构自动设计的模型效果可以媲美人类专家设计的模型效果。
• 超大规模深度学习模型训练技术
飞桨突破了超大规模深度学习模型训练技术，领先其它框架实现了千亿特征、万亿参数、数百节点并行训练的能力，解决了超大规模深度学习模型的在线学习和部署难题，实现了超万亿规模参数模型的实时更新。此外，飞桨还覆盖支持包括模型并行、流水线并行在内的最广泛并行模式和加速策略，引领了大规模分布式训练技术的发展趋势。
• 多端多平台部署的高性能推理引擎
飞桨对推理部署提供全方位支持，可以将模型便捷地部署到云端服务器、移动端以及边缘端等不同平台设备上，并拥有全面领先的推理速度，同时兼容其它开源框架训练的模型。飞桨推理引擎支持广泛的AI芯片，特别是对国产硬件做到了最全面的适配。
• 产业级开源模型库
飞桨建设了大规模的官方模型库，算法总数达到140多个，包含经过产业实践长期打磨的主流模型以及在国际竞赛中的夺冠模型；同时提供面向语义理解、图像分类、目标检测、图像分割、语音合成等场景的多个端到端开发套件，满足企业低成本开发和快速集成的需求。
开发套件
ERNIE
飞桨语义理解套件, 基于持续学习语义理解预训练框架，使用多任务学习增量式构建预训练任务，支持各类训练任务的Fine-tuning，保证极速推理的Fast-Inference API，兼具灵活部署的ERNIE Service和具备轻量方案的ERNIE Tiny系列工具集。
PaddleClas
飞桨图像分类套件，目的是为工业界和学术界提供便捷易用的图像分类任务预训练模型和工具集，打通模型开发、训练、压缩、部署全流程，辅助其它高层视觉任务组网并提升模型效果，助力开发者训练更好的图像分类模型和应用落地。
PaddleSeg
飞桨图像分割套件PaddleSeg覆盖了U-Net、DeepLabv3+、ICNet、PSPNet和HRNet等主流的分割模型。通过模块化的设计，以配置化方式驱动模型组合，帮助开发者更便捷地完成从训练到部署的全流程图像分割应用。
PaddleDetection
飞桨目标检测开发套件，旨在帮助开发者更快更好地完成检测模型的训练、精度速度优化到部署全流程。PaddleDetection以模块化的设计实现了多种主流目标检测算法，并且提供了丰富的数据增强、网络组件、损失函数等模块，集成了模型压缩和跨平台高性能部署能力。目前基于PaddleDetection已经完成落地的项目涉及工业质检、遥感图像检测、无人巡检等多个领域。
PaddleOCR
飞桨文字识别套件，旨在打造一套丰富、领先、实用的文字检测、识别模型/工具库，开源了超轻量级中文OCR模型和通用中文OCR模型，提供了数十种文本检测、识别模型训练方法，助力使用者训练出更好的模型，并应用落地。
ElasticCTR
飞桨弹性计算推荐套件，可以实现分布式训练CTR预估任务和基于Paddle Serving的在线个性化