CS231n笔记5--Weights Update 与 Dropout

Weights Update 与 Dropout

参数更新：Weights Update

在进一步学习之前，先看看我们将要覆盖的权重更新方法的效果,图片来源：http://cs231n.github.io/neural-networks-3/

学习率是怎么来的

相信有机器学习基础的读者都很熟悉一个式子：$W-=\lambda dW$，这里的$\lambda$就是学习率，那么这个式子是怎么来的呢？（小编不敢在众大神面前班门弄斧，只是跟大家分享下，如果有什么改进，还望提出哦，谢谢！）
在传统的机器学习方法中，我们所遇到的一般都是凸问题（可以想象这种问题的Loss Function就想一个大锅，存在最小值），因此如果我们想要达到最小的Loss，我们就需要沿着这个函数的梯度方向往下走（即梯度下降），那么梯度方向就是$\dfrac{dW}{|dW|}$，走的步长就是常数$\Delta$，这时就会发现，如果用