线性模型（linear model）

基本形式

了解线性模型之前，首先了解一些小知识。

$$y=ax+b$$
线性模型顾名思义，模型拟合的函数是线性的,我们从小学就学过的线性函数如上上式所示，其中$a$表示参数，$x$表示未知数，$b$表示常量；在机器学习中假设一个模型是上面这样的函数，则$x$表示样本值，而机器学习简单来说就是通过所给的样本值来拟合这样一条曲线，即通过实际的$(x_i,y_i)$来求得$a和b$的过程。（当然这只是建立模型的第一步，这里先不讲）

接下来看一个稍微复杂一点的函数：
$$y=a{x}_1+b{x}_2+c{x}_3+d{x}_4+C$$
上式与第一个式子相比只是多了几个未知数，这些未知数表示一个样本的多个属性。在机器学习中，例如：通过建立模型预测某地的房价$y$，我们都知道一个地方的房价受多种因素的影响，比如面积、地段、交通等，这些就是上式中的$x_i$,同时也称为属性。
一般地，上式可以写成向量的形式(这里用到了向量乘法的简单知识),$\overrightarrow{w^T}$表示列向量的转置：
$$f(x)=y=\overrightarrow{w^T}\vec{x}+C={\left(\begin{array}{c}a\\ b\\ c\\ d\end{array}\right)}^T\ast \left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right)+C$$
其中$$\vec{w}={\left(\begin{array}{c}a\\ b\\ c\\ d\end{array}\right)}^T$$表达了各个属性在预测中的重要性（比重）。

线性回归(linear regression)

回归问题指的是自变量与因变量的关系是连续值，比如房价受面积的影响是连续的；而预测抛掷硬币正反面时，结果只用正面和反面（当然可能存在立着的情况），假设正面为1，反面为0，不存在中间值，则这是一个二分类（classification）问题,若属性值间存在“序”的关系，可以转变为回归问题，例如一个好瓜熟度为1，不熟为0，则不好不坏可设为0.5。
线性回归通过给定测试集 D { ( x 1 ⃗ , y 1 ) , ( x 2 ⃗ , y 2 ) , ( x 3 ⃗ , y 3 ) . . . } 这 里 x i ⃗ = ( x i 1 , x i 2 , x i 3 , x i 4 . . . ) 表 示 一 个 属 性 集 , （ 下 标 表 示 的 i 个 样 本 ， 上 标 表 示 一 个 样 本 的 第 i 个 属 性 , y i 表 示 样 本 的 真 实 值 ） D\{(\vec{x_1},y_1),(\vec{x_2},y_2),(\vec{x_3},y_3)...\} \\这里\vec{x_i}=(x_i^1,x_i^2,x_i^3,x_i^4...)表示一个属性集,（下标表示的i个样本，上标表示一个样本的第i个属性,y_i表示样本的真实值） D{(x1​ ​,y1​),(x2​ ​,y2​),(x3​ ​,y3​)...}这里xi​ ​=(xi1​,xi2​,xi3​,xi4​...)表示一个属性集,（下标表示的i个样本，上标表示一个样本的第i个属性,yi​表示样本的真实值）

下面是得到一个简单线性模型（假设模型只有一个属性值）的例子：

• Step1 Model
  假设房价y只受面积x的影响，则可设模型$$f(x_i)=wx+b$$
  给某地训练集样本值 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . （ x i , y i ） . . . } D=\{(x_1,y_1),(x_2,y_2)...（x_i,y_i）...\} D={(x1​,y1​),(x2​,y2​)...（xi​,yi​）...},我们需要用给定的训练值求出$w,b$。但我们根据模型预测出的结果与实际值会有一些差别。（有同学会有疑问，既然有真实值为什么还要预测，在这里我们是通过已有的样本值来训练出一个模型，以便能通过模型预测更多的值，使模型得以泛化，因此我们训练的模型误差越小越好。但同时应避免过拟合问题）

• Step2 Goodness of Function
  为了衡量一个模型函数的好坏，需要设置一个损失函数来表示预测值与实际值的差距
  即：$$E(f)=\sum _{i=1}^n(f(x_i)-y_i{)}^2=\sum _{i=1}^n(w{x}_i+b-y_i{)}^2$$
  其中$(f(x_i)-y_i{)}^2$表示均方误差，$f(x)$是由模型得出的预测值，通常我们要获得使均方误差，即损失函数$L(f)最小化$时的w和b,此时的模型是相对较好的。
  即：
  $$（w^{\ast },b\ast ）=arg\underset{(w,b)}{\min }(E(w,b))=arg\underset{(w,b)}{\min }\sum _{i=1}^n(w{x}_i+b-y_i{)}^2$$
  $arg\min$表示使函数$E(w,b)$的值最小时的$w,b$的值。
• Step3 Best Function
  均方误差对应了几何上常用的欧基里得距离（欧式距离），基于均方误差最小化来进行模型求解的方法称为最小二乘法，要找到拟合最好的模型，就要找到使函数$E(w,b)$的值最小时的$w,b$的值。
  求解$w$和$b$使$E(w,b)={\sum }_{i=1}^n(y_i-w{x}_i-b{)}^2$最小化的过程，称为线性回归模型的最小二乘的“参数估计”，先不管它叫什么，这里可以把$E(f)$看做是关于$w和b$的函数，求最小化的过程可以用求偏导的方式。
  对w和b求偏导：

$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial w}& =2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)\\ \frac{\partial E_{(w,b)}}{\partial b}& =2\left(mb-\sum _{i=1}^m\left(y_i-w{x}_i\right)\right)\end{array}$$
令上面两式为0,可得：
$$\begin{array}{c}0=w{\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m\left(y_i-b\right)x_i\\ \\ w{\sum }_{i=1}^m{x}_i^2={\sum }_{i=1}^m{y}_i{x}_i-{\sum }_{i=1}^{m}b{x}_i\end{array}$$

将$b$代入含$w$的式子中：



其中$$\overline{x}=1/m\sum _{i=1}^n{x}_i$$这样，一个简单的线性模型就得到了。

多元线性回归

多数情况不会像上述模型那么简单，就像房价不会仅受面积的影响，需要考虑离市区的距离，离地铁站的距离，朝向等，，，会有多个属性值共同影响最后的结果，因此多元的情况我们常需要将线性模型设置为下面的形式：
$$f(x)=y=\overrightarrow{w^T}\vec{x}+C={\left(\begin{array}{c}a\\ b\\ c\\ d\end{array}\right)}^T\ast \left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right)+C$$
假设训练集里有m个样本，每个样本有d个属性值。
则：
$$D=\left\{\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1d}\\ x_{21}& x_{22}& ...& x_{2d}\\ x_{31}& x_{32}& ...& x_{3d}\\ ...& ...& ...& ...\\ x_{m1}& x_{m2}& ...& x_{md}\end{array}\right\}$$
其中每一行，即$\left(\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1d}\end{array}\right)$表示一个样本值，每竖行表示某个样本对应属性的值。
由此可得方程组：
$$\begin{gathered} y_1=w_1\ast x_{11}+w_2\ast x_{12}+...+w_d\ast x_{1d}+b \\ {y}_2=w_1\ast x_{21}+w_2\ast x_{22}+...+w_d\ast x_{2d}+b \\ ... \\ {y}_m=w_1\ast x_{m1}+w_2\ast x_{m2}+...+w_d\ast x_{md}+b \end{gathered}$$
由上面的方程组就可以求得$\vec{w}=(w_1,w_2,...w_d)$以及b的预测值了
由线性代数的知识可以将上述方程组转化为矩阵相乘的形式：
$$\hat{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_d\end{array}\right]=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& ...& x_{1d}& 1\\ x_{21}& x_{22}& ...& x_{2d}& 1\\ x_{31}& x_{32}& ...& x_{3d}& 1\\ ...& ...& ...& ...& ...\\ x_{m1}& x_{m2}& ...& x_{md}& 1\end{array}\right]\ast \left[\begin{array}{c}{w}_1\\ w_2\\ ...\\ w_d\\ b\end{array}\right]=\left[\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ...& ...\\ x_m^T& 1\end{array}\right]\ast {\left[\begin{array}{cc}\vec{w}& b\end{array}\right]}^T=X\hat{w}$$
其中$\vec{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_d\end{array}\right]$, $X=\left[\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ...& ...\\ x_m^T& 1\end{array}\right]$,$\hat{w}={\left[\begin{array}{cc}\vec{w}& b\end{array}\right]}^T$
类比一元的情况，矩阵应该用其转置乘其本身，（$\vec{y}$是样本的真实值）即求：

令：

对$\hat{w}$求导(涉及矩阵求导知识)：

令上式为0可求得解。