多元线性回归

最新推荐文章于 2022-08-15 20:56:51 发布

Hsuan816

最新推荐文章于 2022-08-15 20:56:51 发布

阅读量849

点赞数

分类专栏：回归分析文章标签：回归损失函数梯度下降

本文链接：https://blog.csdn.net/Hsuan816/article/details/53464671

版权

回归分析专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、线性模型

设 $x_1$ 和 $x_2$ 是两个标量或维数相同的变量， $α$ 和 $β$ 为任意标量，则称 $αx_1+βx_2$ 为 $x_1$ 和 $x_2$ 的线性组合。若 $f$ 为 $x$ 的线性函数，则有

f (α x 1 + β x 2) = α f (x 1) + β f (x 2)

$f(αx_1+βx_2)=αf(x_1)+βf(x_2)$ 特别地，当

α=1−β $α=1-β$ 时，

αx1+βx2 $αx_1+βx_2$ 为

x1 $x_1$ 和

x2 $x_2$ 的加权平均，而

f $f$ 的线性性质决定了加权平均的函数值等于各函数值的加权平均。
若

x=(x1,...,xn) $x=(x_1,...,x_n)$ 为向量，而

f(x) $f(x)$ 为标量，则

f $f$ 的形式为：

f (x) = a + b 1 x 1 + . . . + b n x n = a + b x

$f(x)=a+b_1x_1+...+b_nx_n=a+bx$ 其中，

b=(b1,...,bn) $b=(b1,...,b_n)$ 。
线性模型可用于任何预测任务，包括分类、概率估计和回归。

二、多元线性回归

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。
多元线性回归的方程如下：

y = h (x) = h θ (x) = θ 0 + θ 1 x 1 + . . . + θ n x n

$y=h(x)=h_θ(x)=θ_0+θ_1x_1+...+θ_nx_n$ 其中，

θ=(θ0,θ1,...,θn) $θ=(θ_0,θ_1,...,θ_n)$ 就是方程的回归系数。
假设

(x1i,x2i,...,xni;yi),i=(1,2,...,m) $(x_{1i},x_{2i},...,x_{ni};y_i),i=(1,2,...,m)$ ，为m组样本，在该样本下，回归方程的方程组形式如下：

y 1 = θ 0 + θ 1 x 11 + θ 2 x 21 + . . . + θ n x n 1 y 2 = θ 0 + θ 1 x 12 + θ 2 x 22 + . . . + θ n x n 2 . . . y m = θ 0 + θ 1 x 1 m + θ 2 x 2 m + . . . + θ n x n m

$y_1=θ_0+θ_1x_{11}+θ_2x_{21}+...+θ_nx_{n1}\\ y_2=θ_0+θ_1x_{12}+θ_2x_{22}+...+θ_nx_{n2}\\ ...\\ y_m=θ_0+θ_1x_{1m}+θ_2x_{2m}+...+θ_nx_{nm}$
利用矩阵运算，可表示为：

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ y 1 y 2 ⋮ y n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 11 ⋮ 1 x 11 x 12 ⋮ x 1 m \dots \dots ⋮ \dots x n 1 x n 2 ⋮ x n m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ θ 0 θ 1 ⋮ θ n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\left[\begin{matrix}y_1\\y_2\\ \vdots\\y_n \end{matrix}\right]=\left[\begin{matrix}1&x_{11}&\cdots&x_{n1}\\ 1&x_{12}&\cdots&x_{n2}\\ \vdots&\vdots &\vdots &\vdots\\1&x_{1m}&\cdots&x_{nm}\\ \end{matrix}\right]\left[\begin{matrix}θ_0\\θ_1\\ \vdots\\θ_n \end{matrix}\right]$
令

y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ y 1 y 2 ⋮ y n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥

$y=\left[\begin{matrix}y_1\\y_2\\ \vdots\\y_n \end{matrix}\right]$

X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 11 ⋮ 1 x 11 x 12 ⋮ x 1 m \dots \dots ⋮ \dots x n 1 x n 2 ⋮ x n m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$X=\left[\begin{matrix}1&x_{11}&\cdots&x_{n1}\\ 1&x_{12}&\cdots&x_{n2}\\ \vdots&\vdots &\vdots &\vdots\\1&x_{1m}&\cdots&x_{nm}\\ \end{matrix}\right]$

θ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ θ 0 θ 1 ⋮ θ n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$θ=\left[\begin{matrix}θ_0\\θ_1\\ \vdots\\θ_n\end{matrix}\right]$ 则在该组样本下，回归模型的矩阵表示为:

h θ (x) = θ T X

$h_θ(x)=θ^TX$ 这里

x0=1 $x_0=1$

三、损失函数

损失函数是用来估量模型的预测值 $h(x)$ 与真实值 $Y$ 的不一致程度，它是一个非负实值函数,损失函数越小，模型的鲁棒性就越好。定义回归函数和实际值之间差的均方和为损失函数：

J (θ) = 1 2 m \sum i = 1 m (h θ (x (i) - y (i)) 2

$J(θ)=\frac{1}{2m}\sum_{i=1}^m(h_θ(x^{(i)}-y^{(i)})^2$ m为样本数量，我们的目的是求出使损失函数

J(θ) $J(θ)$ 最小的参数

θ $θ$ 的值。

1.梯度下降法

$θ$ 是包含所有参数的一维向量，我们先初始化一个 $θ$ ，在这个 $θ$ 值之上，用梯度下降法去求出下一组 $θ$ 的值，由于是梯度下降的，所以损失函数 $J(θ)$ 的值在下降。当迭代到一定程度， $J(θ)$ 的值趋于稳定，此时的 $θ$ 即为要求得的值。
方法如下：
(1)先确定向下一步的步伐大小，即α；
(2)任意给定一个初始值：θ；
(3)确定一个向下的方向，并向下走预先规定的步伐，并更新，即 $\frac{∂}{∂θ_j}J(θ)$ ；
(4)当下降的高度小于某个定义的值，则停止下降；
迭代函数如下：