机器学习5：基于线性回归理解减少“损失”的方法

在上节《机器学习4：基本术语》中，笔者介绍了“损失（Loss）”的定义，在训练模型时，减少损失（Reducing Loss）是极为关键的，只有“损失”足够小的机器学习系统才有实用价值。

在本节中，笔者将基于线性回归（Linear Regression）来介绍减少损失的具体方法。

目录

1.线性回归案例

2.减少损失：迭代法（An Iterative Approach）

3.减少损失：梯地下降（Gradient Descent）

4.减少损失：学习率（Learning Rate）

5.减少损失：优化学习率（Optimizing Learning Rate）

6.减少损失：随机梯度下降（Stochastic Gradient Descent）

7.参考文献

---

1.线性回归案例

蟋蟀（一种昆虫）在炎热的日子里会比在凉爽的日子里更频繁地鸣叫。几十年来，专业和业余科学家对蟋蟀每分钟鸣叫次数和温度的数据进行了统计，得到了一些数据，如图 1 所示。我们将这些数