引言
梯度下降是机器学习的核心基础概念，但是碍于概念过于抽象，所以比较难理解，所以笔者想花一些时间来弄懂梯度下降的原理，所以就有了后面的这些图和我个人的一些理解和看法，希望可以在助力自身学习的同时帮助一些初学者更快的搞懂梯度下降。
预备知识
导数的物理意义
在理解梯度下降前，我们首先要知道高等数学的偏导数知识，导数的的物理意义。
比如下面这张图，对于某条曲线而言，我们可以知道导数的物理意义就是计算其在各个点的斜率。
在知道导数的物理意义之后，我们可以更深一层的理解，导数为0的点要么是这个曲线的极大值要么是极小值
损失函数的意义
在监督式学习中，我们通过把特征值和其对应的结果打包，简单理解为特征值为x，其对应的标签为y,可以画出其图像。
在上面这幅图中,h(x)是我们拟合的一条条直线，红色的点是样本点(x,y),我们希望我们拟合的直线与这些样本的重合度足够高，就需要有个东西来判断拟合的效果，从直觉上理解可以认为拟合的线与样本点的距离越短，效果越好。所以就有了损失函数(代价函数)的定义。
比如很常用的MSE（均方误差损失函数）
l o s s ( w , b ) = ( f ( x ) − y ) 2 = ( y ^ − y ) 2 loss(w,b)=(f(x)-y)^2=(\hat{y}-y)^2 loss(w,b)=(f(x)−y)2=(y^−y)2
考虑到有m个x和m个y，即m个离散点，所以将上面的公式进行大数化处理(概率论的估计),得到代价函数
J = 1 m ∑ i = 1 m ( f ( x i ) − y i ) 2 J=\frac{1}{m}\sum_{i=1}^m{\left( f\left( x_i \right) -y_i \right) ^2} J=m1i=1∑m(f(x
最低0.47元/天 解锁文章
1960
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
