m0_49447067的博客

原创 线性回归——李沐深度学习

随机梯度下降：梯度下降（gradient descent）的方法几乎可以优化所有深度学习模型。它通过不断地在损失函数递减的方向上更新参数来降低误差。算法分为两步：（1）初始化模型参数的值，如随机初始化；（2）从数据集中随机抽取小批量样本且在负梯度的方向上更新参数，并不断迭代这一步骤。回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法，经常用来表示输入和输出之间的关系。我们的目的是找到使训练样本总损失值最小的一组参数（w*,b*）：能够量化目标的实际值与预测值之间的差距。