TVM
文章平均质量分 83
HyperAI超神经
链接人工智能新场景
展开
-
在 Jetson Nano 上部署预训练模型
此教程介绍如何用 Relay 编译 ResNet 模型,并将其部署到 Jetson Nano。原创 2024-03-20 15:14:53 · 464 阅读 · 0 评论 -
在 Android 上部署预训练模型
更多 TVM 中文文档可访问 →https://tvm.hyper.ai/docs。原创 2024-03-12 16:44:02 · 496 阅读 · 0 评论 -
部署到 Adreno™ GPU
Adreno™ 是由高通开发并用于许多 SoC 的图形处理单元(GPU)半导体 IP 核系列。Adreno™ GPU 可以加速复杂几何图形的渲染,在提供高性能图形和丰富的用户体验的同时拥有很低的功耗。TVM 使用 TVM 的原生 OpenCL 后端 和 OpenCLML 后端以支持加速 Adreno™ GPU 上的深度学习。TVM 的原生 OpenCL 后端通过结合纹理内存使用和 Adreno™ 友好布局来改进 Adreno™。原创 2024-03-10 12:10:14 · 808 阅读 · 0 评论 -
Relay BNNS 集成
Apple BNNS 库由一组函数构成,这些函数用来构建推理(和训练)过程中的神经网络。macOS、iOS、tvOS 和 watchOS 支持 Apple BNNS。BNNS 提供在这些平台上支持的所有 CPU 上执行的原语,并针对高性能和低能耗进行了优化。这种集成将尽可能多的算子从 Relay 迁移到 BNNS。BNNS runtime 是平台 API 的一部分,且在现代所有 Apple 的操作系统上都可用。使用 BNNS 的应用程序不依赖额外的外部依赖。原创 2024-03-05 16:18:51 · 471 阅读 · 0 评论 -
Vitis AI 集成
更多 TVM 中文文档可访问 →Apache TVM 是一个端到端的深度学习编译框架,适用于 CPU、GPU 和各种机器学习加速芯片。IApache TVM 中文站**Vitis AI **是用在 Xilinx 平台(包括边缘设备和 Alveo 卡)上进行硬件加速 AI 推理的 Xilinx 开发堆栈。它由优化的 IP、工具、库、模型和示例设计组成。在设计时兼顾高效率和易用性,充分发挥了 Xilinx FPGA 和 ACAP 上 AI 加速的潜力。原创 2024-02-06 11:43:56 · 1025 阅读 · 0 评论 -
Relay TensorRT 集成
NVIDIA TensorRT 是一个用于优化深度学习推理的库。这种集成尽可能多地将算子从 Relay 迁移到 TensorRT,无需对 schedule 调优,即可提升 NVIDIA GPU 的性能。本教程演示如何安装 TensorRT 以及如何构建 TVM,来启用 TensorRT BYOC 和 runtime。此外,还给出了示例代码,演示了如何用 TensorRT 编译和运行 ResNet-18 模型,以及如何配置编译和 runtime 设置。原创 2024-01-30 11:04:26 · 599 阅读 · 0 评论 -
Relay Arm® 计算库集成
Arm 计算库(ACL)是一个开源项目,它为 Arm CPU 和 GPU 提供了加速内核。目前,集成将算子迁移到 ACL 以在库中使用手工制作的汇编程序例程。通过将选择算子从 Relay 计算图迁移到 ACL,可在此类设备上实现性能提升。原创 2024-01-23 13:03:50 · 1091 阅读 · 0 评论 -
活动回顾 (下) | 机器学习系统趋势研判,大咖金句汇总
对于蔚来的自动驾驶业务而言,第一款车型 ET7 计划在 2022 年 3 月开始交付,当时,我们的团队只有半年时间来应对自动驾驶的复杂模型,所以,我们肯定要选择一个 End to End 的方案,当时很多友商使用的都是 TensorRT。所以,我对于 18 个月的周期预判还是很有信心的。云端的选型,英伟达随后披露了 H20、L20 和 L2 这三款片,英伟达官方给到的消息称,在大模型的实际推理层面大概是 L40 的70%-80%,A6000 虽然后来也被增补进了禁售清单,但由于库存量比较大。原创 2023-12-28 19:32:11 · 987 阅读 · 0 评论 -
报告下载丨一文看尽:国内开源大模型案例汇总、发展趋势展望
此次案例集的发布,象征着开源大模型领域在技术创新与行业规范化进程中迈向了一个关键的新阶段。为进一步促进大模型的开源和合作,引导开源大模型产业健康规范发展,该案例旨在促进大中小企业融通,扩展开源人工智能大模型、行业大模型服务千行百业的应用场景,促进企业应用开源大模型实现专精特新发展。HyperAI超神经作为国内领先的人工智能和高性能计算社区,一直以来对开源大型模型的发展保持着高度的关注借助 HyperAI超神经社区的影响力,尽可能全面地展现国产开源大模型发展全貌,为下一代技术浪潮的发展助力。原创 2023-12-27 21:35:30 · 556 阅读 · 0 评论 -
活动回顾 (上) | 2023 Meet TVM 系列活动完美收官
TVM Unity 经过一年多的迭代升级,预计于近期并入 Apache TVM 主分支,届时也将成为 Apache TVM 主要的编译流程。原创 2023-12-21 23:18:42 · 848 阅读 · 0 评论 -
HLS 后端示例
TVM 支持带有 SDAccel 的 Xilinx FPGA 板,接下来介绍如何将 TVM 部署到 AWS F1 FPGA 实例。原创 2023-08-28 17:18:18 · 896 阅读 · 0 评论 -
使用 C++ API 部署 TVM 模块
本文介绍如何使用 C++ API 部署 TVM 模块,部署到 Android,并将 TVM 集成到项目中。原创 2023-08-15 21:16:51 · 311 阅读 · 1 评论 -
部署模型并与 TVM 集成
本节介绍如何将 TVM 部署到各种平台,以及如何将其与项目集成。原创 2023-08-09 13:02:38 · 228 阅读 · 0 评论 -
编译 OneFlow 模型
本文介绍如何用 Relay 部署 OneFlow 模型。原创 2023-07-31 19:51:19 · 304 阅读 · 0 评论 -
编译 PaddlePaddle 模型
本文介绍如何用 Relay 部署 PaddlePaddle 模型原创 2023-07-24 16:42:44 · 364 阅读 · 0 评论 -
在 DarkNet 模型中编译 YOLO-V2 和 YOLO-V3
TVM 学习资料原创 2023-07-21 11:30:58 · 122 阅读 · 0 评论 -
编译 CoreML 模型
本文介绍如何用 Relay 部署 CoreML 模型。原创 2023-06-26 17:06:40 · 339 阅读 · 0 评论 -
编译 TFLite 模型
本文介绍如何用 Relay 部署 TFLite 模型。原创 2023-05-19 17:42:46 · 681 阅读 · 0 评论 -
编译 Keras 模型
本文介绍如何用 Relay 部署 Keras 模型。原创 2023-06-12 11:40:20 · 640 阅读 · 0 评论 -
活动预告 | 2023 Meet TVM · 北京站定档,5 场 Talk 你最期待哪一场?
阵容强大,期待值拉满!原创 2023-06-01 18:32:58 · 349 阅读 · 0 评论 -
编译 MXNet 模型
本文将介绍如何用 Relay 部署 MXNet 模型。原创 2023-05-15 14:15:20 · 543 阅读 · 0 评论 -
编译 PyTorch 模型
本篇文章译自英文文档。作者是。更多 TVM 中文文档可访问 →。本文介绍了如何用 Relay 部署 PyTorch 模型。首先应安装 PyTorch。此外,还应安装 TorchVision,并将其作为模型合集 (model zoo)。或参考官网:https://pytorch.org/get-started/locally/PyTorch 版本应该和 TorchVision 版本兼容。目前 TVM 支持 PyTorch 1.7 和 1.4,其他版本可能不稳定。原创 2023-04-25 17:01:17 · 954 阅读 · 0 评论 -
利用 UMA 使硬件加速器可直接用于 TVM
本节介绍通用模块化加速器接口(UMA)。原创 2023-04-11 11:25:18 · 415 阅读 · 0 评论 -
冯思远:Apache TVM 与机器学习编译发展
Apache TVM PMC 专业解读原创 2023-03-13 15:58:33 · 290 阅读 · 0 评论 -
活动回顾 | 2023 Meet TVM 首聚上海,百余位工程师共话机器学习编译的现在和未来
「2023 Meet TVM·开年首聚」成功线下相聚上海,来自企业和高校的 100 多位参与者齐聚一堂,共话机器学习编译的现在和未来。原创 2023-03-08 12:54:48 · 208 阅读 · 0 评论 -
交叉编译和 RPC
本教程介绍了如何在 TVM 中使用 RPC 进行交叉编译和远程设备执行。原创 2023-03-06 10:23:20 · 558 阅读 · 1 评论 -
【TVM 学习资料】TensorIR 快速入门
TensorIR 是深度学习领域的特定语言,主要有两个作用:1.在各种硬件后端转换和优化程序。2.自动 _tensorized_ 程序优化的抽象。原创 2023-02-27 10:16:16 · 588 阅读 · 0 评论 -
活动预告 | 2023 Meet TVM 开年首聚,上海我们来啦!
从去年 12 月延期至今的 TVM 线下聚会终于来了!首站地点我们选在了上海,并邀请到了 4 位讲师结合自己的工作实践,分享 TVM 相关的开发经验,期待与大家线下相聚~原创 2023-02-23 16:48:15 · 598 阅读 · 0 评论 -
【TVM 学习资料】使用 Auto-scheduling 优化算子
本教程将展示 TVM 的 Auto Scheduling 功能,如何在不编写自定义模板的情况下,找到最佳 schedule。原创 2023-02-20 10:45:07 · 605 阅读 · 0 评论 -
【TVM 学习资料】用 Schedule 模板和 AutoTVM 优化算子
本教程将展示如何用 TVM 张量表达式(TE)语言编写 schedule 模板,并通过 AutoTVM 对模板进行搜索,从而找到最佳 schedule。原创 2023-02-13 10:47:24 · 694 阅读 · 0 评论 -
【TVM 学习资料】使用张量表达式处理算子
本教程重点关注 TVM 如何用张量表达式(TE)来定义张量计算并应用循环优化。 TE 用纯函数式语言描述张量计算(即每个函数表达式都不会产生副作用(side effect))。从 TVM 的整体来看,Relay 将计算描述为一组算子,每个算子都可以表示为一个 TE 表达式,其中每个 TE 表达式接收输入张量并产生一个输出张量。这是 TVM 中张量表达式语言的入门教程。原创 2023-02-08 14:08:40 · 485 阅读 · 0 评论 -
【TVM 学习资料】使用 Python 接口(AutoTVM)编译和优化模型
TVMC 教程介绍了如何用 TVM 的命令行界面(TVMC)编译、运行和调优预训练的模型 ResNet-50 v2。TVM 不仅是一个命令行工具,也是一个具有多种不同语言的 API 优化框架,极大方便了机器学习模型的使用。本节内容将介绍与使用 TVMC 相同的基础知识,不同的是这节内容是用 Python API 来实现的。原创 2023-02-08 13:06:46 · 782 阅读 · 0 评论 -
【TVM 学习资料】使用 TVMC Python 入门:TVM 的高级 API
TVM 中文文档内容来啦!这里会为想要学习 TVM 的小伙伴更新 TVM 用户教程、开发教程等内容。快快码住,不要错过~原创 2023-02-08 12:28:27 · 537 阅读 · 0 评论 -
【TVM 学习资料】使用 TVMC 编译和优化模型
TVM 的基石——TVMC原创 2022-12-12 19:12:51 · 1197 阅读 · 0 评论 -
TVM 从入门到精通 | 安装 TVM (Part 2)
By 超神经内容一览:TVM 共有三种安装方法:从源码安装、使用 Docker 镜像安装和 NNPACK Contrib 安装。本文讲解如何通过 Docker 镜像 和 NNPACK Contrib 安装。原创 2022-12-05 18:28:40 · 923 阅读 · 0 评论