李宏毅机器学习|Task02

回归定义：Regression 就是找到一个函数 function，通过输入特征 x，输出一个数值 。

按步骤来

第一步：函数集（model模型）

线性模型：注意区别单特征和多特征的线性模型

y=b+w*Xcp y=b+∑wi✖xi

第二步：优化

给定数据集，点集

判断众多模型的好坏——损失函数：loss function L

损失函数：loss function L 其实是一个函数的函数，它的输入是一个函数，输出是模型的好坏程度。因为function是由w,b决定的，所以 L( f )=L（w,b），所以也可以理解为在衡量一组参数的好坏

第三步：从function set中选出最优的，找参数，使得损失函数L( f )最小

梯度下降找参数

以单特征为例，对该特征求导，学习率这个概念，代表步长，所以下降速度取决于导数和学习率的乘积，单参数w = w - 该乘积，不断迭代，会到达局部最优，多特征同样用学习率和偏导同步更新参数w、b

我们对参数选取不同的初始值似乎会到达不同的损失函数的局部最优，可能还不是全局最优，但在线性回归中不必担心，损失函数L没有局部最优，只有全局最优

下降到最优处时得到最终的w,b，带入模型，得到一条直线，用模