人工智能
我本将心向明月5526
这个作者很懒,什么都没留下…
展开
-
神经网络中的BN层
BN层BN,全称Batch Normalization(批规范化),是2015年提出的一种方法,在进行深度网络训练时,大都会采取这种算法。算法过程如下:简单来说就是对上一层输出的数据进行规范化。优势:加快网络的训练和收敛的速度,即我们可以使用较大的学习率控制梯度爆炸防止梯度消失防止过拟合1.加快训练速度在深度神经网络中中,如果每层的数据分布都不一样的话,将会导致网络非常难收敛和训练,而如果把每层的数据都在转换在均值为零,方差为1的状态下,这样每层数据的分布都是一样的训练会比较容易收敛。原创 2020-09-01 22:42:31 · 4889 阅读 · 1 评论 -
损失函数总结
1.损失函数是什么损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中,损失函数通常作为学习准则与优化问题相联系,即通过最小化损失函数求解和评估模型。2.回归损失函数2.1平方误差损失每个训练样本的平方误差损失(也称为L2L_2L2 LossLossLoss)是实际值和预测值之差的平方:L=(y−f(x))2L=(y-f(x))^{2}L=(y−f(x))2相应的损失函原创 2020-08-22 15:08:39 · 428 阅读 · 0 评论 -
拟合问题分析
欠拟合和过拟合机器学习和深度学习的训练过程中,经常会出现过拟合和欠拟合的现象。如图中左侧,模型过于简单,无法较好的拟合数据,即欠拟合。如图中右侧,模型过于复杂,完全拟合训练数据的特征,导致模型泛化能力差,即过拟合。欠拟合解决方式添加其他特征项,有时候我们模型出现欠拟合的时候是因为特征项不够导致的,可以添加其他特征项来很好地解决。添加多项式特征,优化模型,一般是模型过于简单无法描述样本的特性。减少其它过拟合手段。过拟合解决方式添加正则化项机器学习中几乎都可以看到损失函数后面会添加一个原创 2020-08-14 22:35:49 · 1778 阅读 · 0 评论 -
优化算法(梯度下降,Momentum,RMSprop,Adam)
梯度下降法梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法,是求解无约束优化问题最简单、最经典的方法之一。步骤如下:1.求解每个待优化参数对目标函数的梯度。∂∂θiJ(θ0,θ1…,θn)\frac{\partial}{\partial \theta_{i}} J\left(\theta_{0}, \theta_{1} \ldots, \theta_{n}\right)∂θi∂J(θ0,θ1…,θn)2.利用学习率与梯度更新参数。θi=θ原创 2020-08-14 13:09:32 · 358 阅读 · 0 评论