1.最小二乘法作用
最小二乘法是拟合超定线形方程的一中使用广泛的方法,以下介绍其推导过程。
模型假设及推导
设存在n个特征组成的向量 x = [ x 0 , x 1 , x 2 , . . . , x n ] x=\left[ x_0,x_1,x_2,...,x_n \right] x=[x0,x1,x2,...,xn],并且有训练集 D = ( x ( i ) , y ( i ) ) , i = 1 , 2 , . . . , m D=\left( x^{\left( i \right)},y^{\left( i \right)} \right) ,i=1,2,...,m D=(x(i),y(i)),i=1,2,...,m。
现如今,把 D D D带入 x x x中,得到 m × ( n + 1 ) m \times(n+1) m×(n+1)的输入矩阵:
X = ( x 0 ( 1 ) x 1 ( 1 ) . . . x n ( 1 ) x 0 ( 2 ) x 1 ( 2 ) . . . x n ( 2 ) . . . . . . . . . . . . x 0 ( m ) x 1 ( m ) . . . x n ( m ) ) X=\left( \begin{matrix}{} x_{0}^{\left( 1 \right)}& x_{1}^{\left( 1 \right)}& ...& x_{n}^{\left( 1 \right)}\\ x_{0}^{\left( 2 \right)}& x_{1}^{\left( 2 \right)}& ...& x_{n}^{\left( 2 \right)}\\ ...& ...& ...& ...\\ x_{0}^{\left( m \right)}& x_{1}^{\left( m \right)}& ...& x_{n}^{\left( m \right)}\\ \end{matrix} \right) X=⎝⎜⎜⎜⎛x0(1)x0(2)...x0(m)x1(1)