本文介绍了机器学习中的梯度下降算法，包括其原理、分类（随机、批量、小批量）以及在sklearn中的实现。同时，探讨了数据标准化的原因，即消除特征之间的数量级差异，并介绍了StandardScaler和MinMaxScaler两种方法。数据标准化对于某些模型，特别是使用随机梯度下降的模型来说是必要的。
梯度下降
- 求梯度，实际上，就是求导数，函数在某一个点处求偏导。当函数是一维函数的时候，梯度就是导数。
- 梯度下降，实际上就是在比喻下山的过程。一个人被困在了山上，要下山，从山坡往山的最低点处走，但是山中的浓雾很大，路径无法确定，所以就必须利用自己周围的信息去找出下山的路径,这个时候，就可以利用梯度下降的知识来帮助自己下山。具体的说，就是以自己当前的路径为准，寻找位置最陡峭的地方，然后朝着山的高度下降的地方走，每走一段距离，就使用同样的方式，继续找位置，往下走，最终，抵达山谷。
- 个人理解，梯度下降，实际上就是不断地求偏导，求梯度，来企图找到一个极小值。这个极小值，就是最小的误差
- 我们通过梯度下降的方式，不断的调整w，来找到最优的权重w，来找最小的损失函数的值。
- 个人理解，如上所说，梯度下降实际上就是分段依次不断地往山下走，那么，每段走多少距离由w与每次跳跃的幅度决定，每段往哪个方向走由求导的正负决定。
- w的调整规则为 w j = w j − η ∂ J ( w ) ∂ w j w_j = w_j - \eta\frac{\partial J(w)}{\partial w_j} wj=wj−η∂wj∂J(w)
最低0.47元/天 解锁文章
3169
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
