线性回归模型

1.模型

1.1线性回归概要

回归是*监督学习*中的一种。回归的目的是在给定输入变量的时候，去预测一个或多个*连续*的目标变量的值。其中*线性回归模型*是指模型是可调参数的线性方程，当然最简单的线性回归模型同时也是输入变量的线性方程![这里写图片描述](https://img-blog.csdn.net/20160407205915664)（1）,其中$$\x_0=\1$$.不过通常来说我们会对输入变量做某种固定形式的预处理或者说特征抽取，如：x是原始输入变量，而$$ϕ_j\left(x\right)$$是特征,其中$$ϕ_j$$叫基方程，此时模型即为！[这里写图片描述](https://img-blog.csdn.net/20160407205824648)（2）,当然虽然此时这个模型是输入变量的非线性方程，但模型仍然是线性模型，因为线性回归模型的线性指的是模型是参数的线性方程。

1.2基方程选择

形如1.1中的(2)叫做线性基方程模型，对于基方程$$ϕ_j$$有很多种选择。譬如高斯基方程，logistic sigmoid方程，以及tanh方程等。

2.策略

2.1最大似然和最小平方和误差

对于形如（2）或（1）的模型，由于参数有多种可能值，那到底哪一个才是最好的模型？其实要找到最符合数据的模型，一个最简单的方法就是去找预测值最接近真实值的模型，也就是通过最小化模型的预测值y和真实的数据值t之间的误差去求解模型的参数。通常情况下我们会选取平方和误差![这里写图片描