深度学习基础知识
文章平均质量分 67
???/cy
这个作者很懒,什么都没留下…
展开
-
剪枝 Pruning | 剪枝系统性的介绍(持续更新)
基于缩放的剪枝通常与剪枝阈值结合使用,权重的缩放因子与阈值比较,如果权重的缩放因子低于阈值,则相应的权重将被剪枝。“Second-Order-based Pruning”(基于二阶导数的剪枝)是一种神经网络剪枝技术,它利用神经网络中参数的二阶导数信息来确定哪些参数应该被剪枝。“Magnitude-based pruning”(基于权重大小的剪枝)是一种常见的神经网络剪枝技术,它基于神经网络中的参数(通常是权重)的大小来确定哪些参数应该被剪枝,以减小模型的大小和复杂性。通常,参数的零值比例与阈值进行比较。原创 2023-10-26 18:13:35 · 443 阅读 · 0 评论 -
卷积模型的Memory, Params, Flop是如何计算的?
(乘法 + 加法)= 每一层输出的元素个数 * 每一个元素的运算量 = (c_out * H * W) * (c_in * K * K) = (64 * 56 * 56) * (3 * 11 * 11) = 72855552。权重的形状 = c_out * (c_in * k * k) = 64 * 3 * 11 * 11。= C * H * W = 64 * 56 * 56 = 200704 个元素。KB = 输出元素的个数 * 每个元素的大小 / 1024。偏差 = c_out = 64。原创 2023-10-31 09:51:14 · 104 阅读 · 0 评论 -
Cross-Entropy Loss(多分类损失函数)
文章目录1. 网络输出output:score2. Cross-Entropy Loss(多分类损失函数)1. 网络输出output:score2. Cross-Entropy Loss(多分类损失函数)先用softmax function把score 变成 probabilities。再用交叉熵损失函数来进行Loss的计算原创 2023-11-01 11:24:35 · 1925 阅读 · 4 评论 -
目标检测(Object Detection): 你需要知道的一些概念
注意,在后处理阶段使用NMS(Non-Max Suppression)哦!去除网络输出的重叠框。原创 2023-11-01 16:20:30 · 80 阅读 · 0 评论 -
Videos
文章目录Video ClassificationEarly Fusion, Late Fusion, 3D CNN,Recognizing Actions from Motion 从动作中识别行为接下来介绍新技术回顾一下:非常多的video工作Video ClassificationEarly Fusion, Late Fusion, 3D CNN,Recognizing Actions from Motion 从动作中识别行为Measuring Motion: Optical FlowSe原创 2023-11-01 17:21:17 · 63 阅读 · 0 评论 -
Group Convolution / Depthwise Convolution 轻量模型的必杀卷积
我们的模型越深的时候,channel变的越来越多(更多的filter),然后h,w也因为pool,stride变的越来越小。Group Convolution 的 output也可以大幅度的增加channel,并且不需要大量的运算。原创 2023-11-02 14:42:16 · 97 阅读 · 1 评论 -
TensorRT加速的原因:量化+网络结构优化
TensorRT可以帮助你把训练好的AI模型,部署到边端Nvidia的设备,并实现对模型的量化与加速。TensorRT基于CUDA和cudnnCUDA看作是一个工作台,上面配有很多工具,如锤子、螺丝刀等。cuDNN是基于CUDA的深度学习GPU加速库,它就是个锤子。CUDA这个工作台买来的时候,并没有送锤子。想要在CUDA上运行深度神经网络,就要安装cuDNN,这样才能使GPU进行深度神经网络的工作,工作速度相较CPU快很多。原创 2023-11-02 11:18:52 · 173 阅读 · 0 评论 -
Batch Normalization
把数据拉回标准正态分布,因为神经网络的Block大部分都是矩阵运算,一个向量经过矩阵运算后值会越来越大,为了网络的稳定性,我们需要及时把值拉回正态分布。当testing的时候batchnorm就变成了一个线性运算(linear operator),可以跟前一层的全连接层或者卷积层融合起来计算。具体来说,当一个层的输入分布发生变化时,该层需要不断地适应新的输入分布,这会使得网络的训练过程变得不稳定,同时也会影响收敛速度和性能。我们的均值和方差是在Minibatch的基础上做的。原创 2023-10-30 18:32:58 · 82 阅读 · 0 评论