onnxruntime 支持的所有后端

最新推荐文章于 2024-10-28 19:20:35 发布

F-D

最新推荐文章于 2024-10-28 19:20:35 发布

阅读量1.8k

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/Fighting_Dreamer/article/details/132333466

版权

1 代码导出

import onnxruntime as ort
aaa = ort.get_all_providers()
print(aaa)

1. 1 下面是ort支持的所有后端

'TensorrtExecutionProvider', 'CUDAExecutionProvider', 'MIGraphXExecutionProvider', 
'ROCMExecutionProvider', 'OpenVINOExecutionProvider', 'DnnlExecutionProvider'

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

F-D

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【推理引擎】ONNXRuntime 的架构设计

m0_56069948的博客

03-29

831

Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 ONNXRuntime，深度学习领域的神经网络模型推理框架，从名字中可以看出它和 ONNX 的关系：以 ONNX 模型作为中间表达（IR）的运行时（Runtime）。本文许多内容翻译于官方文档：https://onnxruntime.ai/docs/reference/hi

ONNX模型利用CUDA加速如何正确配置好环境？

qq_42681787的博客

06-28

2417

ONNX模型利用CUDA加速正确配置好环境

参与评论您还未登录，请先登录后发表或查看评论

标题：ONNX Runtime Generate API：开启高效灵活的LLM设备运行新体验

gitblog_00034的博客

06-07

605

标题：ONNX Runtime Generate API：开启高效灵活的LLM设备运行新体验项目地址:https://gitcode.com/gh_mirrors/on/onnxruntime-genai 1、项目介绍 ONNX Runtime Generate API 是一个强大的工具，专为在设备上运行语言模型（LLMs）而设计。它提供了简单、灵活且高效的接口，支持Gemma、Llama、M...

【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）

最新发布

12-20

1. 跨平台支持：ONNX Runtime支持多种操作系统，包括Windows、Linux和macOS。它为不同的CPU架构提供优化，如x86、ARM等，确保了在多种设备上都能够高效运行。 2. 高性能：ONNX Runtime利用了底层硬件的优化，包括...

onnxruntime-linux-x64-gpu-1.18.1.tgz.zip

12-20

标签"onnxruntime"则进一步确认了这个文件与ONNX Runtime有关，它是用于部署深度学习模型的引擎，支持多种框架，如PyTorch、TensorFlow等，使其能够轻松地在不同的后端硬件上运行。文件名称列表中的"file"通常是一...

jetson orin nano 使用yolov8导出engine

coder攻城狮的博客

01-12

2095

经过前面训练，得到了best.pt模型，现在想要使用tensorrt进行推理，需要先导出为onnx格式，再转化为engine格式。例如，我的时jetpack5.1.1,cuda是11.4，python是3.8，所以选择onnxruntime1.12.1,，根据自己的jetpack版本、cuda版本、python版本，选择对应的onnxruntime-gpu，在jetson orin nano中，先卸载onnruntime,查看cuda对应的onnruntime-gpu版本。在导出过程中，可能会出现错误，

ONNX Runtime 加速深度学习(C++ 、python)详细介绍

yohnyang的博客

07-22

5295

ONNX Runtime 加速深度学习(C++ 、python)详细介绍

Terraform 学习总结（5）—— 简单记录 Azure CN 上 Terraform Provider 配置的一个坑

科技D人生

04-29

1124

前言根据 Terraform 官方文档关于 Azure Provider 的使用说明，首先你得先配置一下 Azure 相关的认证信息。其实就跟平时使用 Azure 一样，想要使用 Azure，那第一步就是你必须打开 Azure portal 进行登录，就是使用你的用户名和密码认证登录到 Azure 上去，然后开始干活。现在你要用 Terraform 来操作 Azure 资源，那你得告诉 Terraform 怎么才能登录到 Azure，方便它替你干活。那接下来，我们就一起看一下在使用 Terraform

三、ONNX Runtime添加一个新的execution provider

The space of Shining

03-08

6444

ONNX Runtime添加一个新的execution provider execution provider从本质上来讲就是一个针对不同硬件平台的executor，ONNX Runtime目前提供了以下 MLAS (Microsoft Linear Algebra Subprograms) NVIDIA CUDA Intel MKL-ML Intel DNNL - subgrap...

【Yolo v8 window系统使用AMD GPU进行训练】

买榴莲也用券的博客

08-19

1511

将你的YOLO model转换成 ONNX格式。

【Stable Diffusion/NovelAI Diffusion的AMD GPU加速推理探索】

weixin_44029053的博客

11-01

1万+

这边我们还是MS大发好，用MS的DirectML推理框架推理

使用AMD GPU和ONNX Runtime高效生成图像与Stable Diffusion模型

数字人生

10-28

1544

2024年2月23日撰写，作者[道格拉斯·贾（Douglas Jia）](在这篇博客中，我们将向您展示如何使用预训练的Stable Diffusion模型，通过ONNX Runtime在AMD GPU上生成图像。功能包括从文本生成图像（文本到图像）、转换已有视觉内容（图像到图像）以及修复损坏的图片（修复）。

ONNX Runtime 源码阅读：引擎运行过程总览

SunnyZhou-1024的博客

03-28

3445

之前的文章中，我们一直从源码细节的角度去看某个功能的实现。总会有一种一叶障目不见泰山的感觉，对ONNX Runtime缺乏一个比较总体的认识。通过前面的几篇文章，在看细节源码的过程中，脑海渐渐浮现出了ONNX Runtime总体的轮廓，但是并不是很清晰。今天打算暂时跳出细节，站在高处，看看ONNX Runtime它的筋骨、它的脉络，也更能方便以后进行局部分析。

ONNX深入研究（2）：运行时引擎

新缸中之脑

08-15

1164

在上一部分中，我们回顾了加速方法，然后解释了 ONNX 作为通用中间表示 (IR) 的必要性。在本文中，我们将研究 ONNX 运行时及其工作原理。

onnx runtime文档学习4-Execution Providers (EP)架构

青椒的学习笔记

03-12

1637

本教程第一篇：介绍ONNX Runtime(ORT)的基本概念。本教程第二篇：是一个快速指南，包括安装ONNX Runtime；安装ONNX进行模型输出；Pytorch, TensorFlow和SciKit的快速开始例子本教程第三篇：CUDA Execution Provider本教程第四篇：上一篇介绍CUDA EP，本教程介绍EP的相关概念，包括相关的架构。通过上面的介绍，可以得知模型可以运行在多个设备上，因此下一个教程，我们介绍加速pytorch代码相关的内容。