AI TensorRT

最新推荐文章于 2024-02-23 16:13:14 发布

weixin_30273501

最新推荐文章于 2024-02-23 16:13:14 发布

阅读量98

点赞数

文章标签：人工智能

原文链接：http://www.cnblogs.com/yangwenhuan/p/11003731.html

版权

参考链接

https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html

转载于:https://www.cnblogs.com/yangwenhuan/p/11003731.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30273501

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

TensorRT的Prelu层

10-17

主要是加入到TebsorRT的Prelu层，用于模型加速，适用于含有Prelu的网络结构;

Jetson Orin arm64架构搭建手写AI tensorRT_Pro项目环境

weixin_42855362的博客

03-17

2837

Jetson Orin arm64架构搭建手写AI tensorRT_Pro项目环境

参与评论您还未登录，请先登录后发表或查看评论

TensorRT_Plugin:手写Plugin详细步骤教程

yitiaoxiaolu的博客

02-23

1261

本文为学习Nvidia官方视频教程的学习笔记，分享TensorRT手写Plugin的详细步骤，文中代码参考Nvidia提供的cookbook中05-Plugin/API的代码，强烈建议您先观看Nvidia的教程视频第三节，然后学习本文档。手写Plugin难度较高，尤其是Plugin的核函数部分，建议参考Nvidia的教程模板进行修改，另外针对于Plugin的读取，需要大家了解并掌握详细的读取步骤，实现对Plugin的注册和配置，并最终实现将自己手写的Plugin插入到网络中。

三句话学会 tensorrt

Thanks for all things

09-20

190

【CV学习笔记】transformer-tensorrt加速

Rex大居

05-01

3718

1、前言 transformer在逐渐在cv领域有更多的应用，于是准备利用tensorrt对VIT、SWIN、DETR进行加速，基本做法是现将torch的模型转成ONNX，然后再将ONNX模型转化为engine，其中SWIN在onnx转engine时出现问题，VIT、DETR均未发现问题，其中tensorrt加速以及transformer原理可参考如下两个repo 手写AI:https://github.com/shouxieai/tensorRT_Pro 霹雳吧啦Wz:https://github.com

c++调用tensorRT的模型

07-10

在AI领域，TensorRT是一个非常重要的高性能深度学习推理框架，由NVIDIA开发，主要用于优化和加速深度学习模型的运行。C++是TensorRT常见的编程语言之一，用于在服务器、嵌入式设备或实时系统中部署训练好的模型。...

0110-极智AI-解读TensorRT Plugin-个人笔记

07-19

0110_极智AI_解读TensorRT Plugin-个人笔记

tensorrt c++ 推理项目

07-03

tensorrt c++ 推理示例项目，支持分类网络，比如alexnet，...TensorRT-8.2.1.8.Windows10.x86_64.cuda-11.4.cudnn8.2 转换流程：pytorch转onnx，onnx转tensorrt引擎 python生成tensorrt引擎步骤，可以查看我的博客： ...

0101-极智AI-解读TensorRT Activation算子-个人笔记

最新发布

07-19

0101_极智AI_解读TensorRT Activation算子-个人笔记

0103-极智AI-解读TensorRT Constant算子-个人笔记

07-19

0103_极智AI_解读TensorRT Constant算子-个人笔记

TensorRT-Developer-Guide-3.0.4.pdf

11-26

NVIDIA TensorRT™ is a C++ library that facilitates high performance inference on NVIDIA graphics processing units (GPUs). TensorRT takes a network definition and optimizes it by merging tensors and layers, transforming weights, choosing efficient intermediate data formats, and selecting from a large kernel catalog based on layer parameters and measured performance.

Onnx-tensorrt详解之nvonnxparser库

yly的博客

07-06

8893

Onnx-tensorrt工程提供了所有onnx builtin layer向trtmodel转换的parser代码。 Onnx-tensorrt工程链接： https://github.com/onnx/onnx-tensorrt 一、nvonnxparser库概览 nvonnxparser库的核心代码文件如下： set(IMPORTER_SOURCES NvOnnxParser....

Git 出错error: Pulling is not possible because you have unmerged files

BokyLiu的博客

04-08

2791

参考:https://blog.csdn.net/zxsted/article/details/17022665 在git pull的过程中，如果有冲突，那么除了冲突的文件之外，其它的文件都会做为staged区的文件保存起来。重现： $ git pull origin master error: Pulling is not possible because you have unmerged ...

Pytorch转Onnx转TensorRT踩坑记

幸福回头的博客

08-13

7880

转换Onnx过程中： PyTorch v1.0.1 Reshape不支持报错源码安装PyTorch v1.0.1 caffe2报错 PyTorch v1.2.0 需要升级cuda10.0以上 PyTorch v1.1.0报错： RuntimeError: Failed to export an ONNX attribute, since it's not constant, ple...

pytorch推理时将prelu转成relu实现

The space of Shining

12-16

1826

很多时候，我们的推理框架如，tensorrt，支持relu实现，但是不支持Prelu。此时我发现了该项目https://github.com/PKUZHOU/MTCNN_FaceDetection_TensorRT，其中说道: Considering TensorRT don't support PRelu layer, which is widely used in MTCNN, one so...

TensorRT优化实现手写体数字识别

bleedingfight的博客

02-09

1119

使用tensorflow训练模型 # This file contains functions for training a TensorFlow model import tensorflow as tf import numpy as np def process_dataset(): # Import the data (x_train, y_train),(x_test...

TensorRT使用（Tensorflow/Keras/Pytorch）

favorxin的博客

05-24

1707

本文旨在记录TensorRT使用情况，本人实测TensorRT加速Tensorflow，Keras，Pytorch模型，同时还对比了腾讯的Forward框架，当然Forward框架使用情况本篇文章不做记录。环境（一）：（1）cuda：11.0 （2）cudnn：8.0.4 （3）TensorRT：7.2.1.6 （4）pycuda：2019.1.2 环境（二）：（1）cuda：10.0 （2）cudnn：7.6.3 （3）TensorRT：7.0.0.11 （4）pycuda：2019.1.2 一、T

TensorRT API开发手册

爱破破爱科研

01-01

9201

第一章综述 1.1 TensorRTLayers 1.2 关键概念 1.3 TensorRT API’s 1.3.1 Python Samples 1.3.2 Python Workflows 第一章综述 NVIDIA的TensorRT是一个基于GPU高性能前向运算的C++库。TensorRT导入网络定义，通过合并tensors与layers，权值转换，选择高效中间数据类型，基于...

TensorRT5.1.6加速PReLU

BokyLiu的博客

12-17

886

nvidia迟迟不更行终端上的TensorRT，没办法，只能自己注册了。拜读了几位大佬的blogTensorRT5.1.5.0 实践 onnx-TensorRT的自定义op，看到builtin_op_importers.cpp的理解那里有点不理解，为什么input[0], input[1], input[2]分别代表conv输入的tensor、weight和bias。后来想到看看onnx图： ...

TensorRT开发者指南：C++与Python API应用

"TensorRT开发者指南，适用于TensorRT 7.0.0，旨在介绍如何高效利用TensorRT进行深度学习推理优化。" TensorRT是NVIDIA推出的一款高性能深度学习推理...通过学习和实践，开发者可以更好地优化模型，加速AI应用的部署。