- 博客(4)
- 收藏
- 关注
RSS订阅原创 pytorch模型加速
一个关键的原则：”仅仅在权重更新的时候使用fp32,耗时的前向和后向运算都使用fp16.",其中的一个技巧是，在反向计算开始前，将dloss乘上一个scale,人为变大，权重更新前，除去scale,恢复正常值。目的是为了减小激活gradient下溢出的风险。fp16:半精度如何在pytorch中使用fp16混合精度训练呢？nn.Module中的half()方法将模型中的float32转化为float16,实现的原理是遍历所有tensor,而float32和float16都是tensor的属性，也
2020-06-18 15:58:30
7029
1
原创 Receptive Field 感受野的计算
1。感受野的定义The receptive field is defined as the region in the input space that a particular CNN's feature is looking at(i.e. be affected by)--Dang Ha The Hien.在卷积神经网络中，感受野是用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。蓝荣祎我们通过一个例子来理解下，假设输入图像为5×5，卷积核（kernel size)为3*3,pa
2020-06-01 16:21:15
419
原创 SPP空间金字塔池化（spatial pyramid pooling, SPP)原理与pytorc实现
1、为什么需要SPP？过去的卷积神经网络CNN由卷积层+全连接层组成，其中卷积层对于输入数据的大小并没有要求，唯一对数据大小有要求的则是第一个全连接层，因此基本上所有的CNN都要求数据数据固定大小，例如著名的VGG模型则要求输入数据大小是（224×224）。固定输入数据大小有两个问题：1、很多场景所得到的数据并不是固定大小的，例如不同相机，不同手机，拍出来的图片其宽高比是不固定的;2、有人说可以对图片进行切割，但是切割的话很可能会丢失到重要信息。综上，SPP的提出就是为了解决CNN输入图
2020-06-01 14:58:12
2103
3
原创 Mish激活函数及Pytorch实现
论文题目：Mish: A Self Regularized Non-Monotonic Neural Activation Function论文： https://arxiv.org/pdf/1908.08681.pdf该论文介绍了一个新的深度学习激活函数，该函数在最终准确度上比Swish(+0.494%)和ReLU（+1.671%）都有提高。Mish已经在70多个基准上进行了测试，包括图像分类，分割和生成，并与其他15个激活函数进行了比较。ReLU和Mish的对比，Mish的梯度更平滑
2020-06-01 11:57:16
6924
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人