李宏毅机器学习笔记（1）

0.回归的定义

回归（Regression）是监督学习中的一种任务，指找到一个函数function，函数的输出结果是一个数值。

1.回归的建模方法

上一章中已经介绍过，机器学习的实现分三步：model、goodness of function、pick the best function。回归任务建模的基本步骤是同样的，在这里我们概括为模型假设、模型评估、筛选最优模型。

2.线性模型

 线性模型（Linear model）

预测神奇宝贝战斗值讲解Regression

案例：预测Pokemon的CP战斗力值

一只Pokemon用x来表示，xcp表示进化前的cp值，xs表示物种，xhp表示生命值，xw重量，xh高度，y进化后cp值。

 

3.损失函数
损失函数是用来衡量实际与测试结果偏差的函数。

下图中每一个点代表着一个模型对应的 w 和 b ，颜色越深，模型更优。
 

 

 

 

4.梯度下降

找出model一系列函数中最符合的函数（损失函数最小的function），实际上是确定 ww 和 bb 的值。

梯度下降算法求解的步骤：

1.随机选取一点w0

2.在该点处求微分，也就是当前的斜率

根据斜率来判定移动的方向：斜率大于0则向右移动，小于0向左移动

3.根据学习率（步长）移动

重复步骤2和步骤3，直到找到最低点。

 

 

 

 

5.过拟合

在训练集上面表现优秀的模型，可能在测试集上的效果反而变差，这就是模型在训练集上过拟合的问题，出现过拟合问题也就说明模型的泛化能力弱。