《Deep Learning》—— 数学基础

数学基础

1. 矩阵对角化，SVD分解以及应用

1.1实用性质：

$A\ast (B+C)=A\ast B+A\ast C$（分配率）
$A\ast (B\ast C)=(A\ast B)\ast C$（结合律）
$A\ast B\ne B\ast A$（一般不满足交换律）
$(A\ast B{)}^T=B^T\ast A^T$（转置）
$X^T\ast Y=(X^T\ast Y{)}^T=Y^T\ast X$（转置） 附注：$X$，$Y$都是列向量，$X^T$是行向量，$X^T\ast Y$的结果是一个标量

单位矩阵

• 任意向量或矩阵和单位矩阵相乘，都不会改变，记为$I$。
• 所有沿主对角线的元素都为1，而所有其他位置的元素都是0。
  

逆矩阵：狭义上的逆矩阵是方阵才有逆矩阵，但是广义逆矩阵就不单单指的是方阵的逆矩阵了。

逆矩阵的定义是对于一个矩阵$A$，能够找到一个矩阵$B$，使得$A\ast B=B\ast A=I$，$I$是一个单位矩阵。满足上面条件的$B$就被称为$A$的逆矩阵。

矩阵（方阵）的逆满足如下条件：
$$A^{-1}\ast A=A\ast A^{-1}=I_n$$

1.2 矩阵的对角化

矩阵$B$（一般指的都是方阵，只有方阵才能有对角化）的对角化$P^{-1}\ast A\ast P=B$，其中$A$为对角矩阵，$P$为单位正交矩阵。

对角矩阵：只有对角线上的数不为零，其余位置的数值都为零，具体形式如下所示。

$$\left[\begin{array}{cccc}{\lambda }_1& 0& 0& 0\\ 0& {\lambda }_2& 0& 0\\ 0& 0& ...& 0\\ 0& 0& 0& {\lambda }_n\end{array}\right]$$

单位正交矩阵：满足以下条件：
$$P^T\ast P=P\ast P^T=I$$
单位矩阵满足的条件是：
$$A^{-1}\ast A=A\ast A^{-1}=I_n$$
因此可以看做：
$$P^T=P^{-1}$$

一般的矩阵不一定能对角化，如果不是方阵，更加不能。但是对称矩阵一定可以对角化（特别是对称正定矩阵，得到的${\lambda }_i$都是正数，${\lambda }_i$是上面说的对角矩阵中对角线上的非零值）。

对称矩阵：关于对角线对称，方阵，满足以下条件：
$$A^T=A$$

对称正定矩阵：对于任意一个列向量$X_{n\ast 1}$，方阵$A_{n\ast n}$满足以下条件，则说明矩阵$A$是对称正定矩阵。
$$X^T\ast A\ast X>0$$

对称半正定矩阵：对于任意一个列向量$X_{n\ast 1}$，方阵$A_{n\ast n}$满足以下条件，则说明矩阵$A$是对称正定矩阵。
$$X^T\ast A\ast X\ge 0$$

因为$P$是一个单位正交矩阵，根据上面单位正交矩阵和单位矩阵的相关性质，可以得到：
$$P^{-1}\ast A\ast P=B$$上面这个公式可以转化为下面的公式：
$$P^T\ast A\ast P=B$$$P^T$是一个方阵，假设$P^T$是一个$N\ast N$维的方阵。设$P^T=(u_1,u_2,...,u_n),u_i\in R^n$，$u_i$是一个包含$n$个值的一维向量。
$A$是一个对角矩阵，根据对角矩阵的定义，可以假设对角矩阵$A$的形式为：
$$A=\left[\begin{array}{cccc}{\lambda }_1& 0& 0& 0\\ 0& {\lambda }_2& 0& 0\\ 0& 0& ...& 0\\ 0& 0& 0& {\lambda }_n\end{array}\right]$$那么矩阵B可以表示为：
$$B=[u_1,u_2,...,u_n]\ast \left[\begin{array}{cccc}{\lambda }_1& 0& 0& 0\\ 0& {\lambda }_2& 0& 0\\ 0& 0& ...& 0\\ 0& 0& 0& {\lambda }_n\end{array}\right]\ast \left[\begin{array}{c}{u}_1^T\\ u_2^T\\ ⋮\\ u_n^T\end{array}\right]$$$$B={\lambda }_1{u}_1{u}_1^T+{\lambda }_2{u}_2{u}_2^T+...+{\lambda }_n{u}_n{u}_n^T$$在上面公式中$u_1{u}_1^T$是一个$N$维矩阵，则B可以表示为由多个$N$维矩阵组成的一个矩阵。
$$B={\lambda }_1{W}_{N\ast N}^1+{\lambda }_2{W}_{N\ast N}^2+...+{\lambda }_n{W}_{N\ast N}^n$$上面公式中的${\lambda }_1$，${\lambda }_2$，${\lambda }_n$都是一个实数。矩阵对角化最本质的一个意义是做矩阵分解，这个矩阵分解有几个好处。

原来的矩阵$B$是$N\ast N$维的方阵，需要保存的参数为$N\ast N$个，通过矩阵分解写成多个矩阵相加后，表面上每个矩阵的参数都是$N\ast N$个，感觉上参数变多了。其实不然，在上面的公式中，${\lambda }_1{W}_{N\ast N}^1$其实是由$u_1\ast u_1^T$得到的，这样一个$N\ast N$维的矩阵只需要保存$N$个参数就可以了。也就是说矩阵$B$可以分解为很多简单的矩阵，矩阵$B$可以看成这种简单矩阵的线性之和。

因为在机器学系中用到的一般都是对称正定矩阵或者是对称半正定矩阵，因为对称正定矩阵的${\lambda }_i$的值都大于0，对称半正定矩阵的${\lambda }_i$的值都大于等于0。那么可以对对称正定矩阵或者对称半正定矩阵中的$\lambda$做一个大小排序。假设${\lambda }_1=1000$，${\lambda }_2=100$，${\lambda }_3=10$，这样第一块矩阵就占了很大的一部分，这种情况就为矩阵的压缩提供了一种方法。

曾经有一道面试题，给一个$N\ast N$方阵，怎样用$N+!$个参数压缩方阵。答案就是对方阵做对角化，写成多个简单矩阵线性相加的形式。当只能用$N+!$个参数表示时，那就用第一项简单矩阵去表示方阵，因为第一个简单矩阵需要$N$个参数，${\lambda }_1$也是一个参数，这样就需要$N+1$个参数，这就是矩阵的压缩表示。

在矩阵的对角化$P^{-1}AP=B$中，$A$是一个对角矩阵，在对角矩阵$A$中的$\lambda$值叫做矩阵$B$的特征值。

可以得到一个结论：如果矩阵$B$是一个对称半正定矩阵，那么矩阵$B$的特征值是大于等于0的；如果矩阵$B$是一个对称正定矩阵，那么矩阵$B$的特征值是大于0的。

一个矩阵的行列式等于矩阵的所有特征值的相乘。一个矩阵的所有特征值都大于0，那么矩阵对应的行列四肯定是不等于零的。一个矩阵的行列式不为零可以推出矩阵是可逆的。

矩阵可逆的条件是矩阵的行列式不等于0，同时矩阵的行列式是所有特征值相乘得到的，那就意味着矩阵只要有一个特征值为零，矩阵的行列式就为零，矩阵就是不可逆的。如果矩阵是一个对称正定矩阵，那么特征值都是大于零的，那么该矩阵必然是可逆的。如果一个矩阵是半正定的，那么对应的特征值是大于等于零的，矩阵的行列式仍然有可能为零，所以矩阵不一定是可逆的。

1.3 SVD分解

矩阵能够对角化的限制条件比较多，需要矩阵是一个方阵，同时矩阵是一个对角化矩阵，这样的矩阵是能够进行对角化操作的。如果不符合这两个条件，矩阵不一定能够对角化，所以不具有一般的通用性。

对于任意一个矩阵，不一定是方阵，那么怎么进行对角化操作呢？这时候需要更一般的方法——SVD分解，也就是奇异值分解。

给定一个矩阵$A$，矩阵的维度为$m\ast n$，那么有：
$$(A^{T}A{)}_{n\ast n}=U^T{D}_{1}U$$ $$(A{A}^T{)}_{m\ast m}=V^{T}DV$$ 证明$A^{T}A$的对称性：
$$(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A\Rightarrow 对称性$$ 证明$A^{T}A$的正定性：
$$X^T(A^{T}A)X=(X^T{A}^T)(AX)=(AX{)}^T(AX)\ge 0\Rightarrow 半正定性$$ 通过这两个证明可以知道$A^{T}A$是一个对称半正定矩阵。

在公式$$(A^{T}A{)}_{n\ast n}=U^T{D}_{1}U$$ $$(A{A}^T{)}_{m\ast m}=V^{T}DV$$ 中，$D_{!}$和$D_2$是不一样的，一个是$m\ast m$维，一个是$n\ast n$维。

这里有一个结论，给定一个矩阵$A$，一个矩阵$B$，$A\ast B$和$B\ast A$这两个矩阵是不相等的，矩阵一般不满足交换律，假设$A\ast B$的特征值为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$，$B\ast A$的特征值为$u_1,u_2,...,u_m$，这两组特征值中不为零的值是一样的。假设$A\ast B$的特征值为$(1,2,3,0,0)$，$B\ast A$的特征值为$(1,2,3,0,0,0)$，也就是两个矩阵交换相乘，两者之间的特征值不为零的部分是相等的。

现在证明一下上面这个结论：设矩阵$A$和矩阵$B$是都是$n\ast n$维的方阵，那么$AB$和$BA$都是$n\ast n$维的方阵。假设$AB$的特征值为$({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$，假设$BA$的特征值为$(u_1,u_2,...,u_n)$。这里用到一个结论，一个矩阵的特征值之和等于矩阵的迹，也就是$tr(AB)={\lambda }_1+{\lambda }_2+...+{\lambda }_n$，也就是矩阵的对角线之和。同理，$tr(BA)=u_1+u_2+...+u_n$。再用到另外一个结论，对矩阵$AB$平方，得到的矩阵的特征值为$({\lambda }_1^2,{\lambda }_2^2,...,{\lambda }_n^2)$，同理，矩阵$BA$的平方之后的矩阵的特征值为$(u_1^2,u_2^2,...,u_n^2)$。如果矩阵$(AB{)}^2$和矩阵$(BA{)}^2$的迹是一样的，那么同样有${\lambda }_1^2+{\lambda }_2^2+...+{\lambda }_n^2=u_1^2+u_2^2+...+u_n^2$；矩阵$(AB{)}^2$可以看成$AB\ast AB$，把$(ABA)$看做一个整体，表示为$(ABA)B$；矩阵$(BA{)}^2$可以看成$BA\ast BA$，把$(ABA)$看成一个整体，表示为$A(BAB)$。那么$(ABA)B$和$A(BAB)$可以看成两个矩阵交换相乘，即$CD$和$DC$，这样矩阵的迹就是一样的，那就说明$(AB{)}^2$和$(BA{)}^2$的迹是一样的。同理，$(AB{)}^3$有同样的结论。

虽然$D_{!}$和$D_2$的形式是不一样的，但是两个矩阵中不为零的部分的值是相等的。现在只考虑不为零的部分，忽略值为零的部分。那么一般矩阵的奇异值分解公式可以表示为：
$$A_{m\ast n}=V_{m\ast m}^T\ast \left[\begin{array}{ccc}{\lambda }_1^{1/2}& 0& 0\\ 0& {\lambda }_2^{1/2}& 0\\ 0& 0& {\lambda }_3^{1/2}\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\ast U_{n\ast n}$$这里假设非零特征值只有三个，分别为${\lambda }_1$，${\lambda }_2$，${\lambda }_3$。
令$$V_{m\ast m}^T=(v_1,v_2,...,v_m)$$ $$U_{n\ast n}^T=(u_1,u_2,...,u_n)$$由这三个公式可推导出：
$$A_{m\ast n}={\lambda }_1^{1/2}{v}_1{u}_1^T+{\lambda }_2^{1/2}{v}_2{u}_2^T+{\lambda }_3^{1/2}{v}_3{u}_3^T+...$$从上边的公式可以看出，左边的矩阵$A_{m\ast n}$需要$m\ast n$个参数，右边的每个矩阵仅需要$m+n$，因此也可以看做矩阵压缩。

从图像压缩看这个问题，有一个$m\ast n$的图像，本来需要$m\ast n$个参数去存储这个图像，要用最少的参数去保存这个图像，那么只需要保存最主要的一块就可以了。最大的$\lambda$值即可尽可能地保存图像原来的信息。那么图像压缩所需的最少参数个数为$m+n+1$个。如果用前k项保存图像信息，那么所需的参数个数为$(m+n+1)\ast k$，得到的压缩图像的误差公式为：
$$error=1-\frac{{\sum }_{i=1}^k{\lambda }_i}{{\sum }_{i=1}^{min(m,n)}{\lambda }_i}$$

SVD分解除了在图像压缩中的应用之外，还有在神经网络中的应用，通过SVD分解，能够有效降低神经网络的运算次数如下图所示：

神经网络中经常遇到一个矩阵乘于一个向量的情况，通过SVD分解之后，能够把需要运算的次数从20000次降低为300次，能够有效提升效率。

2. 逆矩阵，伪逆矩阵，最小二乘解，最小范数解

首先看一下多元线性回归的例子：
$$x_1,x_2,...,.x_N,x_i\in R^n$$ $$y_1,y_2,...,y_N,y_i\in R^1$$ $$y_1=x_{11}{a}_1+x_{12}{a}_2+...+x_{1n}{a}_n$$ $$y_2=x_{21}{a}_1+x_{22}{a}_2+...+x_{2n}{a}_n$$ $$⋮$$$$y_N=x_{N1}{a}_1+x_{N2}{a}_2+...+x_{Nn}{a}_n$$这些方程组可以用矩阵相乘来表示：

$$\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{NN}\end{array}\right]\ast \left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$$即有$$X_{N\ast n}{a}_{n\ast 1}=Y_{N\ast 1}$$当$N=n$且$X_{N\ast n}$可逆时：
$$X^{-1}\ast X\ast a=X^{-1}\ast Y$$逆矩阵乘于本身等于一个单位矩阵，可以省略，于是可以得到：$$a=X^{-1}\ast Y$$逆矩阵的条件比较严格，必须是方阵，特征值不能为零。

一般情况下，N是不等于n的，这样上面的解法就不可行了。那应该怎么解决呢？此时仍然要求解$X\ast a=Y$，不能解出该方程，可以解出误差的最小值：
$$min||X\ast a-Y|{|}^2=J$$本来我们的目的是求出$X\ast a=Y$，当没法满足条件时，就让方程组最接近于零，就等于让方程的范数最接近零。对a求偏导：
$$\frac{\partial J}{\partial a}=X^T\ast (X\ast a-Y)=0$$将该方程展开可以得到：
$$X^T\ast X\ast a=X^T\ast Y$$问题来了，$X^T\ast X$是否可逆呢？因为我们假定了$N\ne n$，所以$X$不是方程，但是$X^T\ast X$是方阵。通过第一节的分析，我们可以知道$X^T\ast X$必定是一个半正定矩阵，也就是$X^T\ast X$是特征值是大于等于0的。但是半正定矩阵不一定是可逆的，所以还需要分以下两种情况进行讨论：

1. $N>n$，如$N=5,n=3$，$(X^T\ast X{)}_{3\ast 3}$一般是可逆的。N是样本的个数，n是样本的维度，当样本的个数大于样本的维度的时候，一般是可逆的。所以可以得到：$$a=(X^T\ast X{)}^{-1}\ast X^T\ast Y$$这个解也叫最小二乘解，其中$(X^{T}X{)}^{-1}{X}^T$是伪逆矩阵。
2. $N<n$，如$N=3,n=5$，$(X^T\ast X{)}_{5\ast 5}$必定不是可逆矩阵（矩阵可逆的条件是特征值不为零，同时矩阵的值等于矩阵的行数或者列数，因为矩阵是方阵。这里引用一个结论：$R(A\ast B)⩽R(A)orR(B)$。一个矩阵的秩肯定比矩阵的行数或者列数都要小，所以$()-$），两个矩阵相乘，得到的矩阵的秩。有$R(X^T\ast X)\le R(X)\le 3$，所以$X^T\ast X$是不可逆的，因为矩阵$X^T\ast X$是方阵，行数和列数都是5，但是该矩阵的秩最大为3，所以该矩阵是不可逆的；另一方面，可以知道该矩阵必定是半正定矩阵，即存在一些特征值为零。

当$X^T\ast X$是不可逆的时候，需要在公式$J=||X\ast a-Y|{|}^2$中加上一个正则项，即该公式表示为：
$$J=||X\ast a-Y|{|}^2+\lambda ||a|{|}^2$$这也是机器学习中我们经常说到的正则项，因为当训练数据比较少同时参数过多时，训练出来的模型容易过拟合，所以需要加上正则项。那为什么加上正则项就可以防止过拟合或者说得到的矩阵是可逆的呢？

通过对$J=||X\ast a-Y|{|}^2+\lambda ||a|{|}^2$进行求导，有：
$$\frac{\partial J}{\partial a}=X^T\ast X\ast a-X^T\ast Y+\lambda \ast a=0$$通过转换，可以得到：
$$(X^T\ast X+\lambda I)a=X^{T}Y$$这个公式中的$(X^T\ast X+\lambda I)$必定是可逆的。因为前面已经分析$X^T\ast X$是半正定矩阵，对于矩阵$X^T\ast X+\lambda I$，要判断该矩阵是正定矩阵，必须要有$Z^T\ast (X^T\ast X+\lambda I)\ast Z>0$，公式中$Z$是一个非零向量。这样就可以证明矩阵$X^T\ast X+\lambda I$是一个正定矩阵。下面就证明一下矩阵$X^T\ast X+\lambda I$是一个正定矩阵。
$$Z^T\ast (X^T\ast X+\lambda I)\ast Z$$$$=Y^T{X}^{T}XY+\lambda Y^{T}Y$$$$=(XY{)}^T(XY)+\lambda ||Y|{|}^2$$令$XY=K$,有$$=||K|{|}^2+\lambda ||Y|{|}^2$$该公式中$||K|{|}^2$的值是大于等于0的，因为$Y$是非零向量，同时$\lambda$大于零，所以公式中$\lambda \ast ||y|{|}^2$的值是大于零的。所以整体上该公式的值是大于零的，所以该矩阵是正定矩阵。

既然矩阵$(X^{T}X+\lambda I)$是可逆的，那么可以通过公式：
$$a=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$$来对a的值进行求解，这种回归在机器学习中叫岭回归。为什么叫岭回归呢？因为这个公式就相当于在原来对称矩阵$(X^{T}X)$的基础上，在对角线上加上一个$\lambda$的值，这就相当于是一个岭。这个解也称为最小范数解。

3. PCA原理与推导

PCA是一种数据压缩方法，如下图：

图中A点需要x，y两个坐标来表示，假设A在向量u上面的投影点为A’，则A’仅仅需要一个参数就能表示，就是OA’的长度（即A’在u上的坐标），我们就想着用A’来替换A，这个N个点（原来需要2*N个参数），现在只需要（N+2）个参数（u也需要2个参数）。但是这样就带来了误差，如AA’和BB’，所以我们要能够找到这样一个方向u，使得所有原始点与投影点之间的误差最小，这就叫最小重构误差。

使用PCA时，首先需要进行样本点中心化

比如上图中，u方向已经确定了。左图中的数据分布就是把右图中数据的分布移动到中心点，这样使得数据的误差更加小。所以有必要在做PCA降维的时候将数据进行中心化处理。其实就是算样本点的x坐标的均值和y坐标的均值，然后将每一个数据都减去这个均值，就可以得到中心化处理后的数据分布。

3.1 PCA算法推导过程

在上图中，假设$X$是一个样本点，向量$u$是一个主方向，也就是样本点往向量$u$上进行投影使得损失误差最小。数据点$X$在向量$u$上的损失误差为向量$e$，通过公式表示为：
$$\vec{e}=\vec{x}-p_{ij}\vec{x}$$$$=\vec{x}-<\vec{x},\vec{u}>\vec{u}$$$$=\vec{x}-({\vec{x}}^T\vec{u})\vec{u}$$公式中$\vec{u}\in R^n$且$||\vec{u}||=1,u^{T}u=1$。数据点X的损失可以表示为：
$$J=||\vec{e}|{|}^2=[x-(x^{T}u)u{]}^T[x-(x^{T}u)u]$$$$=[x^T-(x^{T}u)u^T][x-(x^{T}u)u]$$$$=x^{T}x-(x^{T}u)(x^{T}u)-(x^{T}u)(u^{T}x)+(x^{T}u{)}^2{u}^{T}u$$$$=||x|{|}^2-(x^{T}u{)}^2-(x^{T}u{)}^2+(x^{T}u{)}^2$$$$=||x|{|}^2-(x^{T}u{)}^2$$注意公式中$x^{T}u$是一个实数，所以转置的时候实数是不用改变的。通过分析公式中最后得到的结果$||x|{|}^2-(x^{T}u{)}^2$，$||x|{|}^2$是一个固定值，所以只需要找到合适的$u$使得误差最小，也就是要最大化$(x^{T}u{)}^2$。
$$max(x^{T}u{)}^2$$$$\iff max(x^{T}u)(x^{T}u)\iff max(u^{T}x)(x^{T}u)$$$$\iff max{u}^T(x{x}^T)u$$这是只有一个样本的情况下得到的要优化的问题。假设有N个样本，那就对所有样本进行求和，得到以下公式：
$$max\sum _{i=1}^N{u}^T(x_i{x}_i^T)u=u^T(\sum _{i=1}^N{x}_i{x}_i^T)u,||u||=1$$将$({\sum }_{i=1}^N{x}_i{x}_i^T)$看做是$X$，那么公式可以表示为：
$$max{u}^T(X)u,st:||u||=1(u^{T}u=1)$$
这是带约束条件的损失函数，可以通过拉格朗日乘子法进行约束求解，转换为拉格朗日公式，有：
$$L(u,\lambda )=u^{T}Xu+\lambda (1-u^{T}u)$$分别对公式中的$u$和$\lambda$进行求导，有：
$$\frac{\partial L}{\partial u}=0\iff Xu-\lambda u=0$$$$Xu=\lambda u$$$$\frac{\partial L}{\partial \lambda }=0\iff u^{T}u=1$$公式中的$X$是$({\sum }_{i=1}^N{x}_i{x}_i^T)$，这是N个样本计算之后得到的，每一个样本都可以得到一个矩阵，把N个矩阵加起来得到一个更大的矩阵，求这个大的矩阵的特征值和特征向量，特征向量求出来之后做归一化运算就可以了。

可以知道，矩阵$X$必然是一个对称矩阵，因为$X$矩阵的每一个小矩阵都是对称矩阵。同时，矩阵$X$一般情况下都是正定矩阵，因为矩阵$X$是由$({\sum }_{i=1}^N{x}_i{x}_i^T)$得到的，对于每个$x_i{x}_i^T$，利用试探向量$y$，可以得到$y^T{x}_i{x}_i^{T}y=(x_i^{T}y{)}^T(x_i^{T}y)$，令$z=x_i^{T}y$，则有$(x_i^{T}y{)}^T(x_i^{T}y)=||z|{|}^2$。每一个样本都有一个$||z|{|}^2$，那么N个样本就有N个$||z|{|}^2$，把所有的$||z|{|}^2$加起来得到的值一般是大于零的。所以一般认为矩阵$X$是对称正定矩阵，所有该矩阵有N个$\lambda$值，对应有N个特征向量。因为矩阵$X$是对称正定矩阵，所以得到的每个特征向量是相互垂直的。

4. 极大似然估计，误差的高斯分布与最小二乘估计的等价性

4.1极大似然估计

假设随机变量 $X\sim P(x;\theta )$
现有样本$x_1,x_2,...,x_N$
定义似然函数为$\tilde{L}=P(x_1;\theta )P(x_2;\theta )\cdots P(x_N;\theta )$
对数似然函数为$L=ln\tilde{L}=ln[P(x_1;\theta )P(x_2;\theta )\cdots P(x_N;\theta )]$
极大似然估计为$maxL$

举个例子，有一组数据样本$x_1,x_2,...,x_N$符合高斯分布：$P(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-2{)}^2}{2{\sigma }^2}}$，那么其似然函数为：$$L=ln[\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_1-2{)}^2}{2{\sigma }^2}},...,\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_N-2{)}^2}{2{\sigma }^2}}]$$$$L=-Nln\sqrt{2\pi }-Nln\sigma -[\frac{(x_1-u{)}^2}{2{\sigma }^2}+...+\frac{(x_N-u{)}^2}{2{\sigma }^2}]$$$$\frac{\partial L}{\partial u}=2(x_1-u)+2(x_2-u)+...+2(x_N-u)=0$$$$\Rightarrow u=\frac{x_1+x_2+...+x_N}{N}$$$$\frac{\partial L}{\partial \sigma }=0\Rightarrow -\frac{N}{\sigma }+\frac{{\sum }_i(x_i-u{)}^2}{{\sigma }^3}=0$$$$\Rightarrow ={\sigma }^2=\frac{{\sum }_{i=1}^N(x_i-u{)}^2}{N}$$

4.2 误差的高斯分布与最小二乘估计的等价性

前面讲过最小二乘法，如下：$$x_1,x_2,...,x_N,x_i\in R^N$$$$y_1,y_2,...,y_N,y_i\in R$$$$\widetilde{y_i}=W^T{x}_i,w\in R^N$$拟合误差：$$e_i=y_i-W^T{x}_i$$若设$$e_i\sim N(0,1)$$即$$e_i\sim \frac{1}{\sqrt{2\pi }}{e}^{-\frac{e_i^2}{2}}$$似然函数$$L=ln[\frac{1}{\sqrt{2\pi }}{e}^{-\frac{e_1^2}{2}}\frac{1}{\sqrt{2\pi }}{e}^{-\frac{e_2^2}{2}},...,\frac{1}{\sqrt{2\pi }}{e}^{-\frac{e_N^2}{2}}]$$最大化L等价于最小化$$(e_1^2+e_2^2+...+e_N^2)$$将上面公式代入该公式有$$min[(y_1-W^T{x}_1{)}^2+(y_2-W^T{x}_2{)}^2+...+(y_N-W^T{x}_N{)}^2]=J$$$$\frac{\partial J}{\partial W}=-2[(y_1-W^T{x}_1)x_1+...+(y_N-W^T{x}_N)x_N]=0$$$$\Rightarrow \sum _{i=1}^N{x}_i{y}_i=\sum _{i=1}^N{W}^T{x}_i\cdot x_i$$$$W^T{x}_i\cdot x_i=x_i(W^T{x}_i)=x_i(x_i^{T}W)=(x_i{x}_i^T)W$$$$\sum _{i=1}^N(x_i{x}_i^T)w=\sum _{i=1}^N{x}_i{y}_i$$假设公式中的矩阵的逆矩阵是存在的，有$$w=[\sum _{i=1}^N(x_i{x}_i^T){]}^{-1}\cdot \sum _{i=1}^N{x}_i{y}_i$$对比之前得到的关于多源线性回归方程的参数求解公式：$$w=(X^{T}X{)}^{-1}{X}^{T}Y$$$$X=\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right]$$$$X^T=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_N\end{array}\right]$$$$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right]$$通过相乘，可以知道两者是等价的。
通过上面的公式可以发现，误差的高斯分布与最小二乘估计的等价性就是，在做多元线性回归的时候，可以通过另外一个角度来分析，假设拟合的误差是服从高斯分布的，用极大似然估计进行计算，得到的解和前面分析的最小二乘解分析角度得到的解是一样的。

5. 最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件

5.1无约束优化——梯度下降法

无约束优化问题是机器学习中最普遍、最简单的优化问题$$x^{\ast }=mi{n}_{x}f(x),x\in R^n$$无约束的最优化理论最简单的算法是梯度下降法，举个例子，一个二元函数$$f(x,y)=x^2+y^2$$这个函数是微积分中的旋转抛物面，目标是求出这个函数的最小值。假设有一个点$P$，坐标为$(1,1)$，从该点开始到达函数的最小值点位置。该点的梯度的反方向是梯度下降最快的方向。

5.2无约束优化——牛顿法

5.3无约束优化——拟牛顿法

5.4收敛速度比较

梯度下降是一次收敛，牛顿法是二次收敛（速度快，但也有缺陷，要在比较接近最优点的时候才能收敛，否则可能发散）
梯度下降：$$||X_{n+1}-X^{\ast }||<K||X_n-X^{\ast }||$$牛顿法：$$||X_{n+1}-X^{\ast }||<K||X_n-X^{\ast }|{|}^2$$其中$X^{\ast }$是函数最小值所在的位置，$X_{n+1}$是进行$n+1$次迭代之后的坐标，一般来说是比$X_n$更接近于极值点。
梯度下降法考虑到步长的影响，在接近极值点时可能会因为步长过大导致出现震荡问题，而牛顿法在极值点附近的收敛比较好，所以一般在刚开始拟合极值点的时候使用梯度下降法，在快接近极值点的时候使用牛顿法进行拟合。

5.5有约束，拉格朗日乘子的意义，KKT条件

经典拉格朗日乘子法是下面的优化问题（注：$x$是一个向量）$$mi{n}_{x}f(x)$$$$s.t.g(x)=0$$直观上理解，最优解$x_{o}ptimal$一定有这样的性质，以$x$是二维变量为例：