Task2 回归

一、回归定义

回归就是找到一个函数function，通过输入特征x，输出一个数值Scalar。

二、模型步骤

1、Step 1：模型假设—线性模型

        一元线性模型（单个特征）

        多元线性模型（多个特征）

2、Step 2：模型评估—损失函数

        收集和查看训练数据

        判断模型好坏：利用损失函数Loss function

3、Step 3：最佳模型—梯度下降算法

      筛选最优模型：Gradient Descent

定义：

定义learning rate： 

随机选取一个w0，计算微分（斜率）

根据斜率判断移动的方向：w>0向右移动增加w，w<0向左移动减少w。

 以此类推，重复以上步骤找到最低点。

若有两个参数，做法也类似，随机选取两个数w0，b0，并计算微分，根据学习率移动

 注：对w,b求偏微分的计算方法：

三、如何验证训练好的模型的好坏

用测试集求平均误差

四、一元N次线性模型

 

 注：平均误差：

 （求预测值与真实值之间的距离的平方和）

五、过拟合现象

六、步骤优化

1、Step 1优化：将两个input的四个线性模型合并到一个线性模型中

2、Step 2优化：加入更多input

3、Step 3优化：加入正则化