线性回归学习

MM马潇楠

于 2022-11-17 18:07:13 发布

阅读量301

点赞数

文章标签：线性回归学习算法

本文链接：https://blog.csdn.net/m0_52349838/article/details/127907441

版权

线性回归：

先举个例子：比如你去银行贷款，那银行肯定会先对你进行调查，再确定是否对你进行放贷，或者放贷的额度，最终决定你个人贷款额度的指标称为特征。比如你的个人年龄，月收入，户口，家庭关系等。取两个最简单的特征，年龄和工资，设为x1，和x2，获得贷款的额度为y，β1为年龄的参数，β2为工资的参数（解释一下β的含义，这是一个系数，不一样的特征其对应的系数大小也不一样，如你的年龄在20-30之间，那银行对你放贷的额度正常来说会比50-60之间年龄的人的额度大，亦或者是特征月收入，你月薪10万去贷款肯定比月薪3k的人去贷款获得的额度大，这里所体现的就是β的大小）。

有了这些自变量，应变量和特征系数，我们可以得到一个给你贷款额度线性方程，为：

后面的计算中要运用矩阵进行计算，为了方便计算，我们要将这个矩阵变成一个方阵来辅助我们计算，我们需要给β0添加一个x0（x0=1），这样在变成方阵后不会影响计算的结果，反而会减少计算工作量。可以得到向量公式：

大致的图像可以表示成这样：

在真实计算中，所计算出来的值为预测值，与真实的值会有误差，所以我们加入一个 $\varepsilon$ 来表示误差。对于每个样本，我么可以得到这样一个公式：

所得的所有数据点成正态分布，再数据越密集的地方，对应的误差 $\varepsilon$ 也会越小，可以看到，对于每个点的 $\varepsilon ^{\left ( i \right )}$ 是独立且具有相应的分布，并且服从高斯分布：

介绍一下似然函数，简单来说就是用于求什么样的参数跟我们的数据组合后恰好是真实值的函数。似然函数：

由于这样的的乘法函数比较难求解，但如果我们能换成加法就会变得比较容易求解，由于对数里面的乘法可以转换成加法，所以我们可以直接将等式两边转换成对数来进行求解，转换后可得对数似然函数为：

我们将右侧式子展开，可得：

由于西格玛是一个常数， $mlog\frac{1}{\sqrt{2\Pi }\sigma }$ 为常数，若让释然函数越大，就要让后面的变量越小，于是我们可以得到：

因为我们是要找最小值，所以可以对目标函数J(β)求偏导，灵丘偏导等于0，即可以得到改式子的最小值。

现在将式子转换成了矩阵的形式，就面临一个问题，并不是所有的矩阵都可你，如果矩阵X不可逆，我们就无法求出我们想要的β值。

梯度下降（优化算法）：

接着上面得到的结果。当我们得到了这样一个目标函数后，经过一系列的求解，不一定可以得到最终的解，机器学习的许多算法中，是无法求解出真实的答案（线性回归是一个特例）。机器学习的套路就是我们给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让它朝着这个方向去实现。但是优化无法快速进行，我们需要慢慢地一步步完成迭代，每次优化一点点，最终得到我们想要的数据。