NvJPEG使用gpu读取并处理图片

参考：https://zhuanlan.zhihu.com/p/382289060
介绍
在线推理服务中， CPU 算力相对 GPU 算力不是那么充足（比如单机8卡的机型，一般是 80 个超线程 CPU 核 + 8 张 GPU 卡，每张 GPU 只能分配 10 个 CPU 核，也就是 1 张 GPU 卡平均分配到不超过 10 个 CPU 超线程核）。在 CPU 上解码和预处理 + GPU 模型前向计算的推理链路中，CPU 使用率远大于 GPU 使用率，整个链路瓶颈在于 CPU 的算力不足，导致单独只做模型前向计算，即模型预测的优化，在整个推理链路中收益不明显。将解码和预处理从 CPU 移到 GPU 上操作将极大提升整个推理链路的性能。

使用 GPU 解码 JPEG 图像

Nvidia 在 Cuda 库中有一个 nvJPEG lib 包 ， The NVIDIA Data Loading Library (DALI) 基于此实现了训练侧使用 GPU 解码图像。

下载：https://github.com/itsliupeng/torchnvjpeg
安装

1. python setup.py bdist_wheel
   2.in dist directory, pip install torchnvjpeg-0.1.0-xxx.whl
   使用