机器学习
颜值博主
这个作者很懒,什么都没留下…
展开
-
机器学习笔记
常见问题: 对于神经网络Loss不下降问题: 1.参数设置问题 2.模型结构 模型结构过于简单容易出现拟合缓慢、拟合率低的问题 3.损失函数选择 如果是分类,应该用交叉熵损失函数,如果是做回归,用mse/mae损失函数 4.激活函数选择 sigmoid、relu、tanh 5.优化器选择 Adam、sgg,注意学习率不应太大 梯度爆炸 在深层网络或循环神经网络中,误差梯度可在更新中累积,变成非常大的梯度,然后导致网络权重的大幅更新,并因此使网络变得不稳定。在极端情况原创 2020-07-14 19:14:26 · 424 阅读 · 0 评论 -
Droport理解
听过李宏毅老师的机器学习课程,对于dropout的理解。 可以理解为将一个神经网络的训练转换为多个不同神经网络的训练(ensemble),这样,训练好的神经网路就是这多个不同的分支网络的结果的和,那么显然输出与一个网络时相比会大。那么大多少那?假如drop = 0.5,那么就是每次参与训练的神经元数量为二分之一,因此理想情况下,每个分支的权重在输出正确结果的情况下,是理想...原创 2020-04-21 20:00:55 · 270 阅读 · 0 评论