多变量线性回归模型

最新推荐文章于 2024-08-22 22:41:57 发布

NDLilaco

最新推荐文章于 2024-08-22 22:41:57 发布

阅读量432

点赞数

分类专栏：机器学习文章标签：线性回归机器学习逻辑回归

本文链接：https://blog.csdn.net/m0_60790618/article/details/129225162

版权

机器学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

文章介绍了多变量线性回归模型的公式，包括模型参数表示和预测函数。它提到了代价函数和批量梯度下降算法的更新规则，并强调了特征缩放对算法收敛速度的影响。此外，还讨论了学习率的选择以及在某些情况下使用多项式回归的必要性。最后，文章提及了通过正规方程求解回归模型参数的方法。

摘要由CSDN通过智能技术生成

多变量线性回归模型

模型参数为n+1维向量，此时模型公式为
$h_{\theta}(x)=\theta_{0}x_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+...+\theta_{n}x_{n}$
可以简化为
$h_{\theta}(x)=\theta^\mathrm{T}\mathrm{X}$
此时的代价函数仍是所有建模误差的平方和，即
$J(\theta_{0},\theta_{1},...,\theta_{n})=\frac{1}{2m}\sum_{i=1}^{m}{(h_{\theta}(x^{(i)})-y^{(i)})^2}$
此时的批量梯度算法为
$\theta_{j}:=\theta_{j}-\alpha\frac{\partial }{\partial \theta_{j}}J(\theta_{0},\theta_{1},...,\theta_{n})$

$\theta_{j}:=\theta_{j}-\alpha\frac{1}{m}\sum_{i=1}^{m}{(h_{\theta}(x^{(i)})-y^{(i)})\cdot x_{j}^{(i)}}\quad for\quad j=0,1,...n$

特征缩放

在多维特征问题中，特征尺度越相近，梯度下降算法收敛越快。尽量将特征尺度 $x_n$ 缩放到-1~1之间。 $\mu_n$ 是平均值， $s_n$ 是方差。
$x_n=\frac{x_n-\mu_n}{s_n}$

学习率

我们不能提前预知梯度下降算法收敛所需的迭代次数，但可以通过绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4mSi7pO3-1677383749764)(C:\Users\20491\AppData\Roaming\Typora\typora-user-images\image-20230222205742828.png)]$

常用的学习率为0.01，0.03，0.1，0.3，1，3，10

多项式回归

线性回归不适用所有的模型，有时候可能需要二次方、三次方等模型，比如
$h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2x^2_2+\theta_3x^3_3$

$h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2\sqrt x_2$

正规方程

通过正规方程解出向量，其中 $X$ 为特征矩阵
$\theta=(X^{\mathrm T}X)^{-1}X^{\mathrm T}y$
$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4pzQdqn3-1677383749764)(C:\Users\20491\AppData\Roaming\Typora\typora-user-images\image-20230223112740746.png)]$