深度学习
lx127372
数字图像处理
展开
-
keras图像二分类Loss一直0.69
最近做图像分类 遇到了loss下降的0.69就不下降了,一直停在那里,acc在0.5左右。然后在网上查了很多资料,搞清楚了为什么会出现这种情况:https://www.jianshu.com/p/45c2180cab17https://blog.csdn.net/weixin_40267472/article/details/82216668https://zhuanlan.zhihu....原创 2020-04-20 23:03:17 · 5232 阅读 · 6 评论 -
BatchNorm学习笔记
BatchNorm的作用BatchNorm的主要作用是加速训练BatchNorm还有轻微的正则化效果BatchNorm原理对于神经网络中其中某一层给定的隐藏单元Z(1)…Z(m)有以下操作:第一步,求Z(1)…Z(m)的平均值。第二步,求其方差第三步,是在做归一化前三步做完得到的数据是均值是0,方差是1,满足正态分布,用此时的数据就可以达到加速训练的效果了,但是这样就学不到他们的...原创 2020-02-25 22:23:38 · 381 阅读 · 0 评论 -
Momentum、RMSprop、Adam
吴恩达深度学习笔记要说Momentum、RMSprop、Adam这三个优化器就要先讲讲指数加权平均指数加权平均上图是一年中365天的温度变化指数加权平均的等式是:Vt = βVt-1 + (1-β)θtθt 代表第t天的温度,也就是纵轴的数值,那么这个等式得到的Vt 近似代表的就是近似是1/(1-β)天的平均温度。当β = 0.9时,Vt 就近似10天的平均温度,当β = 0.98...原创 2020-02-16 16:56:59 · 333 阅读 · 0 评论