记录回归

是什么？

无监督学习，回归问题

原理

• 回归模型就是表示从输入变量到输出变量之间的映射函数
• 回归问题的学习等价于函数拟合，使其能更好的拟合已知数据，并更好的未知数据做出预测。
• 通过损失函数来查看拟合的程度，通过梯度下降法等算法来使拟合已知数据

模型：数学函数
策略：求解最优模型的评估策略
算法：求解最优模型的具体方法

求解步骤：

• 定义模型，随机初始化模型参数θ,b
• 定义损失函数
• 确定求解最优模型的具体算法；如梯度下降法，以找到损失函数的最小值为目标，使用梯度下降法不断的更新参数，直至找出一组合适的参数θ，b
  【补充：最小二乘法使其偏导=0，一次计算直接求出参数，而梯度下降法是一步一步的更新参数，直至求出最合适的 】

梯度下降的缺点： 容易达到局部最小值

解决： 随机梯度下降法

梯度下降法与随机梯度下降法的区别：

1. 更新参数的速度
   - 梯度下降法需要遍历所有样本
   - 随机梯度下降法每次只遍历一个样本
   总结：梯度下降法更新一次参数时，随机梯度下降法已经更新了n次
   【补充：小批量随机梯度下降法：每次遍历指定数量的样本】