Task02:回归

一、回归的定义

      有特征输入input ，通过function，得到一个输出数值。

      如：自动驾驶：输入各个特征：车上sensor的数据、车况、车距等

                               输出方向盘的角度

二、创建模型

      1.模型假设----选择模型框架（线性模型）

        一元线性模型：单个特征----              ：偏移量    :权重     ：特征

        多元线性模型：多个特征----

       ----步骤优化

            将 4个线性模型 合并到一个线性模型中：

            

           可以使用if来选择函数。
      2.模型评估----损耗函数

在坐标轴上：

        如图：红色区域代表loss 较大，蓝色区域代表loss较小。

        -----步骤优化：如果需要考虑更多的因素，那么就需要加入更多的特征，则损耗函数也响应的加入多特征的损耗，在这种情况下，虽然数据量没有变的更加复杂，但是更多的input也会导致系统出现过拟合。

      3.最佳模型----梯度下降 

        筛选最优模型

如图，定义了损耗函数，之后我们通过梯度的运算，计算和对于函数的偏导，如下

根据梯度下降，调整步长，知道找到损耗函数的最低点：

  

        图中的圈圈代表等等高线，蓝色越深，损耗函数越小 ，我们不断调整步长，就是一个不断向内圈靠近的过程，偏导函数的坐标就是等高线的法线方向。

      4.梯度下降算法的局限

        梯度下降算法目前面临的挑战是：

         1>.仅为当前最优

         2>.梯度等于0时

         3>.梯度趋近于0

         在更为复杂的模型里，梯度下降算法会遇见问题2和3。之后我们应该如何优化模型，避免这样的问题呢？

    -----步骤优化：加入正则化          

        w越小，表示function越平滑，误差相应就会越小

        b对曲线的平滑度使没有影响的。

        我们要想避免过拟合的问题，就要使曲线尽可能的光滑，即使高次项多曲线的影响尽可能的小，所以，我们将高次项加权放入loss function 中，这样训练出来的model既满足预测值和真实值之间误差小，又能使曲线形状比较平滑稳定。

三、如何验证模型的好坏

         使用训练集和测试集来验证模型的好坏：

         假设我们用10组原始数据，训练集求得平均误差

         再给出10组数据，在测试集中验证function，再求得

         对比我们得到的两组误差值。

 四、一元N次模线性模型

        即假设我们选的方程为一元二次方程时：

        

        实则也可看做线性模型。

       随着方程越来越复杂，次项越来越高，会出现过拟合现象。过拟合现象实际上也就是function的space过大，虽然包含真实的函数，但是因为距离大出现的现象，这就要求我们在选择合适的函数模型。过拟合与欠拟合都是不合适的。

                                                                                                        -----参考  李宏毅深度学习笔记