【数值计算1】线性回归问题的几种解法

0 引言

线性回归问题在不同的背景下有不同的表述，

• 机器学习
  给定一组输入 D = { ( x 1 , y 1 ) , ⋯   , ( x m , y m ) } D=\{(x_1,y_1),\cdots,(x_m,y_m)\} D={ (x1​,y1​),⋯,(xm​,ym​)}，其中$x_i={\left[x_i^1,\cdots ,x_i^n\right]}^T$是一个$n$维列向量，线性回归问题是求出损失函数最小的$\theta$
  $$minJ(\theta )=min\sum _{i=1}^m(y_i-x_i^T\theta {)}^2$$
  主要有梯度下降法
• 数值计算
  在数值计算方法中，求参数$\theta$的过程称为数据拟合或曲线拟合，常用的算法维最小二乘法。

首先介绍线性回归问题的解法中，实施起来最简单的最小二乘法。

1 最小二乘法

1.1最小二乘法推导

误差平方和为
J ( θ ) = ∑ i = 1 m ( x i T θ − y i ) 2 = ( X θ − Y