本文详细介绍了最小二乘法的模型假设、损失函数及其求导过程，展示了如何找到最优权重向量。此外，还探讨了岭回归作为解决最小二乘法中矩阵不可逆问题的方法，以及梯度下降法与最小二乘法的关系，指出在大规模数据时，梯度下降法通常更为适用。
1.最小二乘法作用
最小二乘法是拟合超定线形方程的一中使用广泛的方法，以下介绍其推导过程。
模型假设及推导
设存在n个特征组成的向量 x = [ x 0 , x 1 , x 2 , . . . , x n ] x=\left[ x_0,x_1,x_2,...,x_n \right] x=[x0,x1,x2,...,xn]，并且有训练集 D = ( x ( i ) , y ( i ) ) , i = 1 , 2 , . . . , m D=\left( x^{\left( i \right)},y^{\left( i \right)} \right) ,i=1,2,...,m D=(x(i),y(i)),i=1,2,...,m。
现如今，把 D D D带入 x x x中，得到 m × ( n + 1 ) m \times(n+1) m×(n+1)的输入矩阵：
X = ( x 0 ( 1 ) x 1 ( 1 ) . . . x n ( 1 ) x 0 ( 2 ) x 1 ( 2 ) . . . x n ( 2 ) . . . . . . . . . . . . x 0 ( m ) x 1 ( m ) . . . x n ( m ) ) X=\left( \begin{matrix}{} x_{0}^{\left( 1 \right)}& x_{1}^{\left( 1 \right)}& ...& x_{n}^{\left( 1 \right)}\\ x_{0}^{\left( 2 \right)}& x_{1}^{\left( 2 \right)}& ...& x_{n}^{\left( 2 \right)}\\ ...& ...& ...& ...\\ x_{0}^{\left( m \right)}& x_{1}^{\left( m \right)}& ...& x_{n}^{\left( m \right)}\\ \end{matrix} \right) X=⎝⎜⎜⎜⎛x0(1)x0(2)...x0(m)x1(1)
最低0.47元/天 解锁文章
2595
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
