- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 分类网络-GoogleNet（1*1卷积核的简单探讨）
在使用1×1卷积核的过程中，不改变原始图片的宽度和高度，它只是改变了通道数。它同时对原始图片的所有信道进行卷积，融合成一个值，如下图所示，将三个通道数的特征图通过三个1*1卷积，融合为一个通道数的特征图，由W*H*C=3*3*3,变为3*3*1。起到了一个减少计算量的作用。通过在大卷积核前面添加一个1*1卷积，减少通道数，使参数量减少一个量级。在GoogleNet中的实践。在GoogleNet中的实践。一、1*1卷积核的作用。
2024-05-07 21:28:18
303
原创 YOLO入门学习笔记之参数初始化
上述两个初始化是2010年提出的Xavier初始化方法，在缓解爆炸和梯度消失都有不错的效果。这种方法对于双曲正切函数效果很好。为了让神经网络训练过程稳定下来，我们需要让y的方差落在一个可控的范围内，例如让他等于1。参数初始化方法可以减缓梯度爆炸和梯度消失问题，可以让我们训练层数更多的神经网络。在不使用激活函数的情况下，放大的y值就会被累积在反向传播的过程里，造成。给定一个神经元，假设输入有三个，为了方便讨论，我们忽略截距b。例如在均值为0，方差为1的正态分布随机采样。应对Relu函数的初始化方法。
2024-05-06 20:52:07
316
原创 YOLO入门学习笔记之激活函数
观察上图可得，当线性单元输出y的值非常大或者非常小时，可以看到sigmoid的导数等于0，这种在正负无穷梯度为0的函数成为饱和函数。这就意味着神经网络反向传播的时候，每层梯度会被动缩小四分之一，如果网络层数过多或者某层出现极端的输出，反向传播的链式法则就会导致前几层的梯度几乎为0。（3）考虑到激活函数只是增加非线性，并不需要改变对输入的响应状态，所以它应该随着y的增大而增大，随着y的减小而减小。如果考虑一个神经元的输入是x1,x2，它们都是上一层sigmoid函数的输出，所以都是大于零的数。
2024-05-06 16:32:34
675
原创 YOLO入门学习笔记之反向传播算法
假设学习率为ε=0.1，经计算可得此时的w=0.71,b=0.14,y=1.205,L=0.082。如图所示，x经过一个线性方程得到y,其中y=wx+b,我们用最小二乘法作为优化的损失函数。为了得到w1,b1,w2,b2四个参数的梯度值，我们可以从后向前依次计算出损失函数。在深度学习框架中，计算图中的元素的定义和使用是很便捷的。如图所示经过y1,y2两个线性变换的过程，这是一个正向传播的过程。思考计算机中真实的计算过程：是一个模块化的过程。这种从后向前计算参数梯度的方法：反向传播算法。
2024-05-06 11:20:24
469
原创 YOLO入门学习笔记之梯度下降算法
继续迭代，直到优化到斜率为0的点，b值不再更新，就找到最好的值，优化过程结束，这就是梯度下降算法。一般情况下，我们为了快速找到收敛方向，都会设置一个大一点的初始学习率，随着训练过程，我们需要找到一个最好的结果，不能再只追求收敛速度，需要细致优化防止损失函数剧烈震荡。如上公式可得出，把根号r放在学习率的分母上，当梯度波动很大的时候，学习率将会快速下降。相反，波动小的时候，学习率就会小一点。解决办法：图f中展示了我们的解决办法，即在更新梯度的时候，不仅计算新的梯度，还有保留部分上一次的梯度。
2024-05-05 22:22:08
764
原创 wps嵌入endnote21笔记
遇到的问题：1.模块“EndNote Cwyw.dll已经加载”，但对DllRegisterServer的调用失败，错误代码为0x80070005亲测解决办法：看一下是否以管理员身份启动，如果不是的话，请使用管理员身份启动cmd窗口。再次运行regsvr32 "C:\Program Files (x86)\EndNote 20\Product-Support\CWYW\21\EndNote Cwyw.dll"2.点击go on EndNote,提示服务器运行错误解决办法：将insta
2024-05-01 17:12:08
259
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人