vb中线性拟合_线性回归的几何与概率视角

Linear Regression是一个非常简单以及常见的模型。从计量的角度看，它可以用来分析两个或者多个变量之间是否相关、相关方向以及强度，或者用来预测。本文是从机器学习的角度来看linear regression，即从模型和loss function的角度看，并且我们给出closed form解，关于large-scale data的aapproximate的求解方式以后再做介绍。

Content

• 线性回归-几何视角

• 线性回归-概率视角

• Pseudo-inverse伪逆的介绍

• 局部加权线性回归

• 多个output的线性回归情况

01

线性回归—几何视角

线性回归的几何角度，即最小二乘法，ordinary least squares (OLS)

按照惯例，先介绍dataset：

1. predictors   ，即n个样本，每个样本有p个variable

2. target   ，即n个样本，每个样本1个值

模型(对于每个样本)：

 这里我们把intercept截距项也放入  里，即第一列全为1

思想：

我们想要每个样本的真实值  与拟合值  尽量接近一些，考虑两者的差(下图中的  )，再平方得到  ，最后把所有的样本的这些值加起来，就得到了目标函数(loss function)。

loss function： 

接下来讲如何求解  使得  最小。