高性能深度学习推理平台 OpenPPL 正式开源！

最新推荐文章于 2024-10-08 14:42:13 发布
最新推荐文章于 2024-10-08 14:42:13 发布
阅读量2.2k 收藏
点赞数
文章标签： 人工智能 机器学习 深度学习 github 软件框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aceyclee/article/details/118725148
版权
商汤科技在WAIC上开源了OpenPPL，这是一个基于自研高性能算子库的深度学习推理平台，可在CPU、GPU上高效运行AI应用。OpenPPL提供极致性能，支持OpenMMLab模型部署，且具备云上多后端部署能力。
摘要由CSDN通过智能技术生成

OpenPPL 是商汤基于自研高性能算子库的开源深度学习推理平台，能够让人工智能应用高效可靠地运行在现有的 CPU、GPU 等计算平台上，为云端场景提供人工智能推理服务。

OpenPPL

官网：openppl.ai

在刚刚举行的 2021 世界人工智能大会（WAIC）上，商汤科技正式推出 OpenPPL 计划 —— 决定将深度学习推理部署引擎 SensePPL 中云端推理的能力开源给技术社区，从而加速 AI 技术的普及与进步！

SensePPL

▎把推理交给 OpenPPL，把时间还给思考

OpenPPL 基于全自研高性能算子库，拥有极致调优的性能；同时提供云原生环境下的 AI 模型多后端部署能力，并支持 OpenMMLab 等深度学习模型的高效部署。

一、高性能

设计微架构友好的任务/数据/指令等多级并行策略，自研 NV GPU、 x86 CPU 计算库，满足部署场景对神经网络推理、常用图像处理的性能需求

  • 支持 GPU T4 平台 FP16 推理
  • 支持 CPU x86 平台 FP32 推理
  • 核心算子优化ÿ
最低0.47元/天 解锁文章
Aceyclee
关注
cv算法工程师学习成长路线
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
11-15 4269
本文内容为 cv 算法工程师成长之路上的经典学习教材汇总，对于一些新兴领域则给出了较好的博客文章链接。本文列出的知识点目录是成系统且由浅至深的，可作为 cv 算法工程师的常备学习路线资料。部分学习资料存在离线 PDF 电子版，其可在 github仓库-cv_books 中下载。
OpenPPL PPQ量化(4)：计算图的切分和调度 源码剖析
沉迷单车的追风少年
02-08 1015
上一篇博客讲了计算图的加载和预处理，真是费了不少劲啊……这一篇博客和大家一起学习PPQ精髓之一：计算图的分割与调度。第一讲就说过PPQ把计算图分成了三类：可量化、不可量化、争议区。计算图分割的目的就是把这三类区域分割出来；为了适应多平台，PPQ已经在计算图的调度上也分了很多种，我们一一道来。
AI部署——主流模型推理部署框架
weixin_45178274的博客
08-14 952
我们以最经典的Yolov5目标检测网络为例解释每一种推理部署框架的大概内容，省略模型训练的过程，只讨论模型转换、环境配置、推理部署等步骤。 Intel的OpenVINO — CPU OpenVINO是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，支持各种英特尔平台的硬件加速器上进行深度学习，并且允许直接异构执行。 支持在Windows与Linux系统，Python/C++语言。 首先，确保已安装OpenVINO工具包。可以从OpenVINO官网下载并安
OpenPPL 开源——新的起点，面向未来
Aceyclee的博客
07-16 926
上篇文章分享了《高性能深度学习推理平台 OpenPPL 正式开源》 今天继续和大家唠一唠 OpenPPL 的由来，这还得从 SensePPL 说起： SensePPL 是什么？ SensePPL 是商汤 HPC 团队从 2015 年开始精心打造的多后端深度学习推理部署引擎。训练平台训练好的模型，可以通过转换成 onnx 等标准格式，使用 SensePPL 进行快速推理部署。 SensePPL 会对模型进行加载转换，生成有向图和执行计划，进行图级别的优化，运行时调用深度调教过的算子库进行推理计算。所有核心框架
模型推理部署框架选择
最新发布
浩瀚之水的专栏
10-08 1461
开放神经网络交换 ONNX（Open Neural Network Exchange）是一套表示深度神经网络模型的开放格式，由微软和 Facebook 于 2017 推出，然后迅速得到了各大厂商和框架的支持。通过短短几年的发展，已经成为表示深度学习模型的实际标准，并且通过 ONNX-ML，可以支持传统非神经网络机器学习模型，大有一统整个 AI 模型交换标准。功能定位：ONNX是一个模型表示格式，用于模型的互操作性和转换；而ONNX Runtime是一个高性能推理引擎，用于模型的优化和运行。应用场景。
全球首个软硬件推理平台 ：NVDLA 编译器正式开源
HyperAI超神经
09-16 841
By 超神经场景描述：为深度学习设计新的定制硬件加速器，是目前的一个趋势，但用一种新的设计，实现最先进的性能和效率却具有挑战性。近日，英伟达开源了软硬件推理平台 NVAD...
prometheus变量_Prometheus配置文件说明
weixin_42391485的博客
01-28 2261
# Kubernetes的API SERVER会暴露API服务，Promethues集成了对Kubernetes的自动发现，它有5种模式：Node、Service# 、Pod、Endpoints、ingress，下面是Prometheus官方给出的对Kubernetes服务发现的实例。这里你会看到大量的relabel_configs，# 其实你就是把所有的relabel_configs去掉一样可以...
浅谈AI+工业视觉检测技术应用的优化
m0_49711991的博客
08-23 557
视觉是人类获取信息最主要的渠道，它使人们得以感知和理解周边的世界。通过视觉，人类可以感知外界物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息。人类的大脑皮层约有70%都在处理视觉信息，因此可以说视觉是人类最重要的感觉。机器视觉又称计算机视觉（CV），通过电子化的方式来感知和理解影像，让机器或计算机可以像人类那样“看”，甚至达到超越人类视觉智能的效果。随着工业自动化技术向着智能化方向演进，工业场景对计算机视觉技术的需求持续推进着工业机器视觉技术的发展。
探索未来智能：Pal - 理解、推理与决策的开源平台
gitblog_00065的博客
04-26 310
探索未来智能：Pal - 理解、推理与决策的开源平台 pal PaL: Program-Aided Language Models (ICML 2023) 项目地址: https://gitcode.com/gh_mirrors/pal1/pal ...
TensorRT-8量化分析
吴建明wujianming_110117
03-17 2243
TensorRT-8量化分析 本文讲非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节。这次文章是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量化思路。 01 0x01 TensorRT量化 都2022年了，量化技术已经很成熟了，各种量化框架[1]和量化算法层出不穷。之前接触过几个量化框架，大部分都是在算法层面模拟一下，实际上无法直接部署到具体的硬件层，也只是停留在算法的层面。而现在成熟的量
新技术前沿-2024-国内主流AI大模型架构及应用场景深度分析
qq_20466211的博客
04-23 1533
国内主流AI大模型
AI人工智能训练推理平台——数算岛开源AI计算平台=GPU池化软件
李文慧 国内知名开源工作者 全栈工程师 华为云最具价值专家
03-15 1312
【开源GPU池化平台】AI训练GPU池化软件 | (AI人工智能训练平台、AI人工智能推理平台) 是一站式全流程人工智能平台，平台打通模型开发与训练，原生支持多机多卡训练环境，优化 AI 场景下 IO 吞吐、持久化、结构化维护模型生产信息，优化数据资源共享路径，最终提高平台整体资源利用率，消除信息孤岛，大幅提高 AI 算法工程师工作效率，使其聚焦于算法与模型开发的核心工作，利用有限的资源更快挖掘商业价值与远见洞察。。提高企业对于 AI 应用的研发效率。平台支持数据共享、模块复用，为团队协作提供了便捷。
MMP自动推理平台软件
03-01
MMP自动推理平台软件<br>数学机械化
Aphrodite Engine:开源大规模推理引擎的实践指南
qq_29929123的博客
08-30 922
Aphrodite Engine是一个开源的大规模推理引擎,专为服务于PygmalionAI网站上的大量用户而设计。使用vLLM的注意力机制,实现快速吞吐和低延迟支持多种最先进的采样方法集成Exllamav2 GPTQ内核,在较低批量大小下提供更好的吞吐量这些特性使Aphrodite Engine成为部署和服务大规模语言模型的理想选择。Aphrodite Engine为大规模语言模型的部署和服务提供了一个强大而灵活的解决方案。通过与LangChain的无缝集成,开发者可以轻松构建复杂的AI应用。
开源项目介绍 ｜TNN-跨平台AI推理框架
腾讯开源
06-20 1533
2021腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalTNN项目介绍 标签：人工智能 技术栈：C++，Pytho...
AI大模型推理速度翻倍，Colossal-Inference开源发布
luchentech的博客
05-22 943
潞晨科技公司为此打造了高效易用的Colossal-Inference推理引擎，可显著提高AI大模型吞吐速度，以应对推理场景中的性能瓶颈和成本挑战。该推理引擎集成了分块显存管理与分页注意力算法，预设与自定义模型优化策略，连续批处理调度。预设中提供高性能手写算子, 第三方的算子加速库；而在预设之外，用户可以通过使用基础算子与模型层，自行搭建自定义模型优化策略，对指定模型进行优化。
SnnGrow文章推荐:高性能深度学习推理引擎 - OpenPPL
OpenSnn开源社区
04-06 486
OpenPPL基于全自研高性能算子库，拥有极致调优的性能，同时提供云原生环境下的 AI模型多后端部署能力，并支持OpenMMLab等胜读学习模型的高效部署。
【ppl】——推理引擎openppl
怡宝2号
12-07 471
来自商汤的直播
深度学习训练与推理计算平台硬件配置完美选型2020v1
like_study_cat的博客
03-09 541
http://www.xasun.com/article/22/2427.html
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值