概览一、前言二、线性回归一、前言作为回归问题中最简单的线性回归应该是机器学习入门最应该掌握和熟悉的算法，现在我分别从频率派和贝叶斯派的角度对ω\omegaω进行估计。二、线性回归假设数据集D=(x1，y1),(x2,y2),...,(xn,yn)D={(x_1，y_1),(x_2,y_2),...,(x_n,y_n)}D=(x1，y1),(x2,y2),...,(xn,yn)，...
一、前言
作为回归问题中最简单的线性回归应该是机器学习入门最应该掌握和熟悉的算法。在用最小二乘法来求解线性回归的时候, 如果 X X X不满秩, 则二乘法存在多个解，并存在过拟合的情况。为了避免出现这些情况，对普通的线性回归进行正则化。其中使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。
二、线性回归
1.最小二乘估计
假设数据集 D = ( x 1 ， y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) D={(x_1，y_1),(x_2,y_2),...,(x_n,y_n)} D=(x1，y1),(x2,y2),...,(xn,yn)，其中 x i = ( x i 1 , x i 2 , . . . , x i d ) T x_i=(x_{i1},x_{i2},...,x_{id})^T xi=(xi1,xi2,...,xid)T，线性回归试图通过线性组合对该数据集进行拟合，模型可表示为：
f ( x ) = ω 1 x 1 + ω 2 x 2 + . . . + ω d x d + b ⇒ f ( x ) = ω T x + b f(x)=\omega_1x_1+\omega_2x_2+...+\omega_dx_d+b\\ \Rightarrow f(x)=\omega^Tx+b f(x)=ω1x1+ω2x2+...+ωdxd+b⇒f(x)=ωTx+b
其中 ω = ( ω 1 , ω 2 , . . . , ω d ) T \omega=(\omega_1,\omega_2,...,\omega_d)^T ω=(ω1,ω2,...,ωd)T， b b b可看作 ω 0 x 0 \omega_0x_0 ω0x0，令 x 0 = 1 x_0=1 x0=1。将 b b b纳入 ω \omega ω，形成新的 ω \omega ω，则有：
f ( x ) = ω 0 + ω 1 x 1 + ω 2 x 2 + . . . + ω d x d ⇒ f ( x ) = ω T x f(x)=\omega_0+\omega_1x_1+\omega_2x_2+...+\omega_dx_d\\ \Rightarrow f(x)=\omega^Tx f(x)=ω0+ω1x1+ω2x2+...+ωdxd⇒f(x)=ωTx
最优的模型使所有样本 x i x_i xi作为输入时产生的输出都能尽可能地接近 y i y_i yi。因此，对于矩阵 X = ( x 1 , x 1 , . . . , x n ) T X=(x_1,x_1,...,x_n)^T X=(x1,x1,...,xn)T，采用最小二乘估计（LSE，Least Square Estimate），以均方误差作为损失函数：
J ( ω ) = 1 N ∑ i = 1 N ∥ y i − ω T x i ∥ 2 = 1 N ( Y − X ω ) T ( Y − X ω ) = 1 N ( Y T − ω T X T ) ( Y − X ω ) = 1 N ( Y T Y − ω T X T Y − Y T X ω + ω T X T X ω ) = 1 N ( Y T Y − 2 ω T X T Y + ω T X T X ω ) \begin{aligned} J(\omega) & =\frac1N\sum_{i=1}^N\left\|y_i-\omega^Tx_i\right\|^2\\ & = \frac1N(Y-X\omega)^T(Y-X\omega)\\ & = \frac1N(Y^T-\omega^TX^T)(Y-X\omega)\\ & = \frac1N(Y^TY-\omega^TX^TY-Y^TX\omega+\omega^TX^TX\omega)\\ & = \frac1N(Y^TY-2\omega^TX^TY+\omega^TX^TX\omega)\\ \end{aligned} J(ω)
最低0.47元/天 解锁文章
66
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
