深度学习模型在Nvidia上部署资料分享

1. TensorRT部分

1. 1 TensorRT官方资料

a. TensorRT GitHub: https://github.com/NvlDlA/TensorRT 里面有官方给 出的例子

b. TensorRT官方文档:

https://docs.nvidia.com/deeplearning/tensorrt/archives/tensorrt-803/dev eloper-guide/index.html

c. TensorRT官方优化指南:

https://docs.nvidia.com/deeplearning/tensorrt/archives/tensorrt-803/best -practices/index.html

1.2 TensorRT和pytorch

a. https://github.com/NvlDlA-Al-lOT/torch2trt: torch2trt是—个pyTorch 到TensorRT的转换器，它利用了TensorRT python Apl；

1.3 Tensorrt和ONNX

a. ONNX Models zoo: https://github.com/onnx/models

b. https://github.com/onnx/onnx-tensorrt

1.4 TensorRT和Tensorflow

a. https://github.com/tensorflow/tensorrt 集成了tensorrt的Tensorflow；

 1.5 TensorRT和各种网络

a. https://elinux.org/TensorRT/yolov3

b. https://elinux.org/TensorRT/yolov4

c. https://github.com/Megvii-BaseDetection/yOLOX

d. https://github.com/coincheung/BiseNet

e. https://github.com/wang-xinyu/tensorrtx 提供了非常多的基于trt部署的 网络代码实现

f. https://github.com/NvlDlA/retinanet-examples

g. https://github.com/GeekAlexis/FastMOT

h. https://github.com/hunglc007/tensorflow-yolov4-tflite

i. https://github.com/caowGG/TensorRT-centerNet

j. https://github.com/NvlDlA-Al-lOT/trt-pose

k. https://github.com/shouxieai/tensorRT-pro

l. https://github.com/grimoire/mmdetection-to-tensorrt

m. https://github.com/nvidia/tensorrt-laboratory/

n. https://github.com/NvlDlA/TensorRT/tree/master/demo 

1.6 TensorRT FAQ系列

a. 官方FAQ:TensorRT Developer Guide#FAQs

b. 常见问题解答:

        Q: 你可以在这里找到关于使用TRT的—些常见问题的答案。请参考页

面TensorRT/commonFAQ

c. TRT准确度常见问题:

        Q: 如果你的Fp16结果或lnt8结果不符合预期，下面的页面可以帮助你 解决精度问题。请参考TensorRT/Accuracylssues

d. TRT性能常见问题:

        Q: 如果用TRT做推理的性能没有达到预期，下面的页面可能会帮助你 优化性能。请参阅TensorRT/perflssues

e. TRT lnt8校准常见问题

        Q: 下面的页面将介绍—些关于TRT lnt8校准的常见问题。请参考页面

TensorRT/lnt8CFAQ

f. TRT插件常见问题

        Q: 下面的页面将介绍—些关于TRT插件的常见问题。请参考

TensorRT/pluginFAQ

g. 如何解决—些常见的错误

        Q: 如果你在使用TRT时遇到—些错误，请在下面的页面中找到答案。 请参阅TensorRT/CommonErrorFix。

h. 如何调试或分析

        Q: 下面的页面将帮助你以某种方式调试你的推理。请参考

TensorRT/How2Debug

2. CUDA部分

2.1  CUDA docker镜像

 https://hub.docker.com/r/vistart/cuda

2.2 CUDA书籍

a. 《CUDA并行程序设计-GpU编程指南》

b. 《CUDA by Example》

c. 《GpU高性能编程CUDA实战》

2.3 CUDA在线文档

a. CUDA C++ programming Guide

b. CUDA C++ Best practices Guide

c. CUDA for Tegra

d. CUDA Toolkit Documentation 12.6-api-references 各种CUDA Apl: CUBLAS、CUFFT、NPP等

2.4 CUDA资源

a. https://docs.opencv.org/4.1.2/d1/d1e/group--cuda.html

b. https://developer.download.nvidia.cn/compute/cuda/1.1-Beta/x86 -website/projects/reduction/doc/reduction.pdf optimizing parallel Reduction in CUDA

c. CUDA 进阶学习

d. 苹果妖—CUDA

e. intro to parallel programming 视频:

intro to parallel programming, NVIDIA GPU CUDA programming，GPU CUDA编程_哔哩哔哩_bilibili

f. CUDA wiki

2.5 官方博客

a. CUDA Refresher: Reviewing the origins of GpU Computing b. CUDA Refresher: Getting started with CUDA

c. CUDA Refresher: The GpU Computing Ecosystem

d. CUDA Refresher: The CUDA programming Model

e. How to lmplement performance Metrics in CUDA C++

f. How to Query Device properties and Handle Errors in CUDA C++

g. How to。ptimize Data Transfers in CUDA C++

h. How to。verlap Data Transfers in CUDA C++

i. How to Access Global Memory Efficiently in CUDA C++ j. Using Shared Memory in CUDA C++

k. An Efficient Matrix Transpose in CUDA C++

l. Finite Difference Methods in CUDA C++，part 1

m. Finite Difference Methods in CUDA C++，part 2

n. Accelerated Ray Tracing in。ne weekend with CUDA 

2.6 CUDA代码

a. https://github.com/NvlDlA/cuda-samples

b. libcu++，NvlDlA C++标准库，是整个系统的C++标准库。它提供了— 个C++标准库的异构实现，可以在CpU和GpU代码中及之间使用；

2.7 CUDA工具

a. CUDA pro Tip: nvprof is your Handy Universal GpU profiler b. CUDA-GDB；

c. https://github.com/NvlDlA/nvbench cuda kernel benchmark；

d. https://github.com/patwie/cuda-design-patterns 并没有讲述如何使用 cuda，但是简化了—些workflow；

e. https://github.com/NvlDlA/thrust 对标C++ STL的并行编程库；

f. CUDA。ccupancy Calculator CUDA利用率计算工具，用excel计算；