![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 58
初学深度学习的学习心得
sniper_fandc
这个作者很懒,什么都没留下…
展开
-
深度学习基础—指数加权移动平均值
Vt+1的含义近似为1/(1-b)天的平均温度,可以这样理解,每天只取(1-b)比例的当天温度,一共取了1/(1-b)天才能把当天温度的比例凑到1。比如b=0.9,则每天只取0.1的温度,因此需要取10天当天温度的比例才能凑到1,此时1/(1-b)的值也是10。分别取b=0.9(红线:近10天一平均)、b=0.98(绿线:近50天一平均),得到上述图像,可以发现参数b的值越大,曲线越平滑,同时曲线向右平移,因为平均的天数更多了。而b的值越小,曲线越曲折,噪声更多,因为平均的天数少,方差就更大。原创 2024-08-18 23:41:57 · 233 阅读 · 0 评论 -
深度学习基础—梯度问题与Mini-batch 梯度下降
梯度爆炸/梯度消失:训练神经网络的过程中,由于网络层数过多以及激活函数选择原因,出现的导数很大或很小的现象,导致训练难度加大。举一个栗子:假如网络的每层每个权重值都>1,就是1.5,忽略偏置b,网络有100层,激活函数是线性激活函数即输出原值,那么1.5的100次方约为406,561,177,535,215,237,这就是指数爆炸带来的效果。如果权重值都<1,那么网络层数很多的话,输出就会趋于0,也就是梯度消失。原创 2024-08-18 23:25:22 · 690 阅读 · 0 评论 -
深度学习基础—归一化特征值
实际上,如果输入向量的各维度范围相似,比如x(1)的范围在[-1,1],x(2)的范围在[0,1],这时候用不用归一化特征值效果都差不多。如果输入向量的各维度范围差别很大,比如x(1)的范围在[1,1000],x(2)的范围在[0,1],这时候使用归一化特征值就能对模型的训练效率改善很多。未使用归一化特征值时,数据的特征分布狭长(范围差别大),因此在梯度下降法时,选择较大的学习率就会走很多弯路,导致模型迟迟不能收敛,于是只能选择较小的学习率,模型训练效率慢。将数据移动到0附近。原创 2024-08-18 00:04:40 · 88 阅读 · 1 评论 -
深度学习基础—其他正则化技巧
如果一个样本集的数据不容易扩增,那么可以通过一些改变样本的手段伪造数据。比如在图片识别中,图片的数据集不容易获取,那么我们可以将图片进行放大、缩小、水平反转等方式,从而构造出新的数据集,这种方式虽然没有获取新的训练集数据效果好,但是成本低代价小,起到的效果也类似正则化,可以缓解过拟合问题,因此可以作为一种正则化手段。原创 2024-08-18 00:00:55 · 133 阅读 · 0 评论 -
深度学习基础—Dropout正则化(随机失活正则化)
这种神经元依赖上下文神经元的现象也被成为协同适应),在训练网络的过程中,由于去除了某些神经元,那么网络就失去了该神经元的部分表征,因此在训练后,网络能学习更加独立丰富的特征(这种效果类似L2范数正则项,每个神经元不会被赋予更大的权重,从而产生了收缩权重平方范数的效果),使模型更加鲁棒。2.网络中每层的keep_prob都可以不同,对于输入层通常不设置keep_prob,对于节点较多的层keep_prob的值应该要比其他层小(也就是更大概率删除更多的节点,因为节点多的层容易过拟合)。对应位置的输出就是0。原创 2024-08-13 23:18:03 · 244 阅读 · 0 评论 -
深度学习基础—正则化
是超参数(在Python中,已经存在lambda的关键字,因此为该参数命名时应注意避免和关键字重复),它的值越大,则参数w就越小,于是模型就越简单,从而不容易过拟合。L1范数的正则项与L2范数的正则项的区别是:L1范数的正则项可以使权重矩阵变成稀疏矩阵(存在大量的0),也就是减少网络中某些不起作用的神经元,因此也可以使网络更加简单。以二分类为例,越简单的模型越接近直线(存在欠拟合),越复杂的模型越接近曲线(存在过拟合),给损失函数加入正则项,在反向传播的过程中,梯度下降法使参数w更小,那。原创 2024-08-13 23:07:32 · 192 阅读 · 0 评论 -
深度学习基础—参数调优
通常神经网络工程是逐步迭代逐步优化的过程:首先需要确定初步的参数,然后编码训练网络,根据网络的训练结果来进行参数调优,比如在第一次训练网络中发现,网络的准确率较高,且无法收敛到某一个范围,这时可能就是学习率太高的原因,可以降低学习率,继续进行下一轮的训练。数据集划分:训练集、验证集、测试集。机器学习时代(数据量小,万级),这三者比例通常是70%、15%、15%(也有60%、20%、20%,不固定)。原创 2024-08-12 23:34:39 · 378 阅读 · 0 评论 -
深度学习基础—常见激活函数、如何快速理解网络维度、新手训练神经网络的技巧
该激活函数为非线性激活函数,如果函数的输入值小于0,则映射为0;如果函数的输入值大于0,则映射为本身,主要作用为减少计算量、解决梯度消失问题和缓解过拟合问题。原创 2024-08-12 23:28:49 · 306 阅读 · 0 评论 -
深度学习基础——Logistic 回归
注:本文基于Python进行叙述,这是我跟着吴恩达老师的深度学习网课的学习经验与心得分享,如有理解不对或叙述不对的地方,欢迎讨论、批评和指正。原创 2024-08-10 19:12:07 · 213 阅读 · 0 评论