【机器学习】线性回归模型

一、线性回归模型概述

• 线性回归模型：简单的来说就是在样本空间中的一条直线或者一个平面或者更高维的超平面，并且我们要使得预测值与真实值之间的误差最小化。
• 三维样本空间如下图：
  
• 二维样本空间：
  

二、线性回归模型

• 给定训练集$D=(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$其中$x_i\in R^d;y\in R;$线性回归模型如下：$$f(x_i)=w^T{x}_i+b$$并且我们期望得到的模型有下面式子成立：$$f(x_i)\approx y_i$$

• 为便于讨论我们将将$b$并入到$w$中：$$x_i=[x_i^1,x_i^2,\dots ,x_i^d,1{]}^T$$$$w_i=[w_i^1,w_i^2,\dots ,w_i^d,b{]}^T$$所以线性回归模型可以表示为：$$f(x_i)=w^T{x}_i$$

• 我们将每个样本的预测值与真实值记为：${\epsilon }_i$ $$y_i=w^T{x}_i+{\epsilon }_i$$

• 假设误差${\epsilon }_i$是独立同分布的，并且服从高斯分布。即：$$P({\epsilon }_i)=\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{{\epsilon }_i^2}{2{\sigma }^2})$$$${\epsilon }_i=y_i-x_i$$带入得到：$$P(y_i|x_i,w)=\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2})$$已知参数$w$和数据$x_i$的情况下，预测值为$y_i$的条件概率.

• 注：这个地方个人感觉比较疑惑：$P({\epsilon }_i)$按理来说表示的是误差为