Datawhale X 李宏毅苹果书 AI夏令营 (深度学习基础——机器学习线性模型到深度学习）

说到深度学习，先说机器学习。机器学习中的大哥大就是：欸对，线性模型。

线性模型中，y=b+wx。每个数据点的x和y都是确定的，机器要找到对应的参数w和b。可是如何试出来这两个参数，需要知道我的预测值和真实值差多少，相差的这个东西用一个函数来进行计量，即L（损失函数）。损失函数最简单的一个定义就是用真实值和预测值差的绝对值之和来计算。

对应的一套参数可以得到一个L值，不同的组合有可能得到相同的L，得到的误差称其为误差表面。在实际优化过程中，计算这个表面的梯度，发现梯度不为0，有上升或者下降的趋势，说明该点不是最小，向左或者向右移动一定的距离，得到了一个更小的值和新的梯度。移动的即为步长，目标是获得一个更小的损失函数值。该过程为梯度下降法。