深度学习部署
关注
分享
扫一扫
文章平均质量分 52
模型部署
理心炼丹
只争朝夕
展开
-
【推理加速】博客翻译：利用融合conv和bn的方法加速模型
这是量化和推理优化模型中常用技术。今天我们将试着理解如何使我们的模型在推理上更快一些。大量的网络使用 BN 来提高网络的泛化能力 。但是在推理阶段，Batch Normalization 被关闭，取代使用的是每个通道的均值和方差的近似值。最酷的是我们可以通过1x1卷积实现同样的行为。更好的是，我们可以把BN和前面的卷积合并。Speeding up model with fusing batch normalization and convolution - LearnML.Today..原创 2022-04-11 15:45:56 · 3293 阅读 · 0 评论 -
深度学习部署之优化小技巧-softmax
本文是优化小技巧-softmax_哔哩哔哩_bilibili的学习笔记！本文主要是针对2个类别的softmax，用来加速推理。本文softmax 主要是针对2个类别，场景：Blazeface、Retinaface 做检测时候，2个类别来定义正负样本。比如：pred = [neg, pos] # 网络预测两个值条件 = p > threshold所以：条件 = sigmoid(pos - neg) >threshold源代码：n,...原创 2022-04-11 11:13:18 · 1431 阅读 · 0 评论 -
【推理加速】优化sigmoid
本文是优化小技巧sigmoid_哔哩哔哩_bilibili的学习笔记！知识点是在深度学习部署中，对sigmoid 求反函数，用来加速推理，原因是desigmoid_threshold 可以提前算出，只需计算一次即可。神经网络常使用sigmoid 函数将 卷积后的结果x转换为概率output。比如，YOLO系列和CenterNet等等。公式：，一个exp，一个除法，比较耗时，尤其是嵌入式上面。优化：得到：源代码：ifsigmoid(P[4]) >......原创 2022-04-11 10:38:07 · 1548 阅读 · 1 评论 -
更新cudnn环境
重装了cudnn 环境， 这里cudnn 版本：8.2.2.26Download cuDNN v8.2.2 (July 6th, 2021), for CUDA 10.2cuda 版本：10.2操作系统：ubuntucuDNN Library for Linux (x86)这里下载的是 cudnn-10.2-linux-x64-v8.2.2.26.tgz（deb包不好装）1. 解压， 文件夹下会出现一个 cuda 文件夹tar -xvf cudnn-10.2-linux-x..原创 2022-01-13 12:11:57 · 928 阅读 · 0 评论 -
自己训练的Resnet部署（python版本）
pytorch转onnx转trt(python推理）原创 2021-11-30 14:51:05 · 2863 阅读 · 2 评论