2022吴恩达 第一课第一周 学习总结

01_回归（线性回归 Linear regression）

属于 “ 有监督学习 ” ：

(输入特征 ，目标标签)

目标标签是一个预测的数：inf

目标：

通过大量的样本数据(输入特征 ，目标标签)进行模型训练，得到一个训练后的模型。当我们拿到新的 值（输入特征）将该值放入我们训练好的模型中。可以得到一个预测的结果：预测标签。使得该预测标 签与真实值超级无敌接近。

怎么做？

1.我们首先获得大量的训练样本数据(输入特征 ，目标标签)->( x , y )

2.定义模型：我们采用线性回归的算法，因此采用线性函数的形式。将其定义为 f(x) = w x + b

        x：输入特征

        f(x) = y~ : 预测目标

        w，b：参数，（训练目标）

3.知道了函数的基本类型，我们就可以对目标函数进行初始化。如何初始化？对w 和 b 参数随机定义

4.有了目标函数，要如何进行训练呢？

        0：开始一次训练

        a：选择一个训练样本数据 ( x , y )

        b：将样本数据的 x 传入目标函数 f (x) 当中，得到预测结果 y~

        c：计算 （ y~ - y ）就是通过目标函数计算的值 y~ 与 真实标签 y 之间的差值

        d：循环 a ~ c，将训练样本数据 ( x , y )所有都计算出（ y~ - y ），将其相加sum

        e：在我们这次训练当中，通过sum我们可以看出我们初始化w，b的目标函数的效果怎么样，当 sum越大，我们目标函数的效果越不好，反之越好。因此我们的下一个目标是使得sum和更小

        f：进行梯度下降，如何下降？

                (1):我们已知 f(x) = w x + b sum = ∑（ y~ - y ） = ∑ （ w x + b - y ）

                (2):因此我们可以绘制出xy坐标轴，对于x轴不同的w来说，可以绘制出y轴sum的值。

                (3):目标：想要求出sum的最小值，在sum函数中找到极小值点（求导，导数为0的点）

                (4):步骤：

                        使sum分别对w 和 b 求导（此时的w 和 b 为初始化后的值）

                        其导数就是在该点的斜率，其正负为极小点于此点的方向

                        参数更新，根据导数符号我们知道了要向那个方向移动，但是移动多少呢？

                        规定每次更新时的速度为 α（自己任意指定）

                        更新结果：w新 = w旧 - α * ∑ （ w x + b - y ）

                        完成更新

        e：这一此训练完成，可以继续进行下一轮训练。经过多轮训练后得到的 w ， b就是我们最终的目 标参数

        5.完成梯度下降后，目标函数训练完成，得到训练模型

        6.使用新的样本数据进行预测

梯度下降注意：

        问题：我们使用梯度下降使，想要找到最小值，将问题转换为找极小值点。但对于函数来说，可能存在 多个极小值点（局部最小值）。因此使得我们无法找到最小值。

解决：我们之前判断的依据是 ∑（ y~ - y ），我们使用∑（ y~ - y ）^2进行计算，新的函数是一个凸 函数，具有全局唯一极值，解决多极值问题。

类别：我们在步骤中，对每个样本都计算其损失值，效率低！

批量梯度下降

随机梯度下降