概率统计、数值优化算法

一、概率统计：

1. 样本空间：一个随机试验（或随机事件）所有可能结果的集合
2. 样本点：随机试验中的每个可能结果
3. 随机变量：本质上是一个实值函数映射，即为每一个实验的结果映射为一个数值。注意区别“随机变量”的定义与“随机变量取值的概率”的定义.

Eg:在抛一枚均匀的硬币过程中，将正面映射为1，反面映射为0，则随机变量X的定义为X(正面)=1，X(反面)=0。此时，随机变量取值的概率定义为P(X(正面)=1)=P(X(反面)=0)=0.5。很显然，随机变量X的定义时存在一个映射，随机变量取值的概率定义时又存在一个概率映射，即从样本点到随机变量取值的概率过程进行了两步映射！

4. 数学期望：
   （1.）若离散型随机变量$X$的分布律为：
   $$P(X=x_k)=p_k,k=1,2,...$$
   若级数${\sum }_{k=1}^{\infty }{x}_k{p}_k$绝对收敛，则随机变量$X$的数学期望
   $$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$$
   （2.）若连续型随机变量XX的概率分布密度函数为$f(x)$，若积分${\int }_{-\infty }^{\infty }xf(x)dx$绝对收敛，则随机变量$X$的数学期望
   $$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$$
5. 方差：
   $$Var(X)=E([X-E(X){]}^2)$$
6. 协方差：
   $$\begin{gathered} Cov(X,Y)=E([X-E(X)][Y-E(Y)]) \\ =E(XY)-E(X)\cdot E(Y) \end{gathered}$$
7. 相关系数（此公式为简单相关系数）：
   $${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$$

A. 这里${\rho }_{xy}=r(x,y)$，${\rho }_{xy}$是可以表征$x$和$y$之间线性关系紧密程度的量，具有两个性质：

• $|{\rho }_{xy}|\le 1$
• $|{\rho }_{xy}|=1$ 的充要条件是，存在常数$a$、$b$使得P{Y=a+bX}=1P\{Y=a+bX\}=1P{Y=a+bX}=1

B. 由性质衍生：

• 相关系数定量地刻画了 X 和 Y的相关程度，即$|{\rho }_{xy}|$越大，相关程度越大； $|{\rho }_{xy}|=0$对应相关程度最低；
• X 和Y 完全相关的含义是在概率为1的意义下存在线性关系，于是$|{\rho }_{xy}|$是一个可以表征X 和Y 之间线性关系紧密程度的量。当$|{\rho }_{xy}|$较大时，通常说X 和Y相关程度较好；当$|{\rho }_{xy}|$较小时，通常说X 和Y相关程度较差；当X和Y不相关，通常认为X和Y之间不存在线性关系，但并不能排除X和Y之间可能存在其他关系。

8. 信息熵：度量随机变量概率分布的不确定性。
   $$H(X)=-\sum _{i=1}^n{p}_i\log p_i$$

不确定性函数f是概率P的减函数；两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。同时满足这两个条件的函数f是对数函数，即
在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。这时，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即
，式中对数一般取2为底，单位为比特。但是，也可以取其它对数底，采用其它相应的单位，它们间可用换底公式换算。

9. 条件熵：在已知随机变量$X$的条件下，随机变量$Y$的不确定性。
   $$\begin{gathered} H(Y|X)=E_X[H(Y|X)]=\sum _{i=1}^{n}P(X=x_i)H(Y|X=x_1) \\ H(Y|X=x_i)=\sum _{j=1}^m[-P(Y=y_j|X=x_i)logP(Y=y_j|X=x_i)] \end{gathered}$$
10. 互信息，信息增益：给定随机变量XX后，随机变量YY的不确定性削减程度。
    $$I(X,Y)=H(Y)-H(Y\mid X)$$
11. 相对熵：也叫KL散度，度量真实分布$p$和非真实分布$q$之间的差异，差异越大，相对熵越大。
    $$D(p||q)=\sum _{i=1}^N(p_i\log p_i-p_i\log q_i)=\sum _i{p}_i\log \frac{p_i}{q_i}$$
12. 交叉熵：按不真实分布q来编码样本所需的编码长度的期望【信息熵(即“熵”)可以理解为“按真实分布p来编码样本所需的编码长度的期望”】
    $$\sum _i{p}_i\log \frac{1}{q_i}$$

对相对熵公式变形，可得到：
$$\begin{gathered} D(p||q)=H(p,q)-H(q)=\sum _{i=1}^N{p}_i\log p_i-\sum _{i=1}^N{p}_i\log q_i \\ =-H(p)+[-\sum _{i=1}^N{p}_i\log q_i] \end{gathered}$$
等式的前一部分恰巧就是p的熵，等式的后一部分，就是交叉熵：
$$H(p,q)=-\sum _{i=1}^N{p}_i\log q_i$$
在机器学习中，我们需要评估label和predicts之间的差距，使用KL散度刚刚好，即$D_{KL}(y||\hat{y})$，由于KL散度中的前一部分−H(y)不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做loss，评估模型。

二、数值优化算法：

机器学习的训练模型，最终都归结为最优化问题，即寻找最优参数，使得模型的误差损失函数减小。
通常，$x_0$是$f(x)$的极小值点的必要条件是$\nabla f(x_0)=0$。简单情况可以解析求解；但在某些复杂情况下，需要数值求解极小值点，即通过迭代法，利用逼近序列求极小值点。所以，优化问题转化为“如何得到逼近极小值的极小化点序列，包括迭代步长和迭代方向”：
$$x^{k+1}=x^k+{\lambda }_k{d}_k$$
通常，要求迭代序列$(x^0,x^1,\cdots ,x^k,\cdots )$是收敛的，且使$f(x)$单调递减(当然，存在间隔性递减的优化算法，但是这里不考虑)。

下面，先考虑记住非约束优化算法。

1. 梯度下降法：
   每一步迭代的方向沿着当前点的梯度方向的反方向。

• 每次迭代使用的训练数据集范围：
  Batch Gradient Descent：误差损失函数由全量训练数据的误差构成，
  Stochastic Gradient Descent：每次更新只考虑一个样本数据的误差损失，可在线更新，
  Mini-Batch Gradient Descent：优化目标函数包含n个样本的数据($n$一般较小，$10\sim 500$)。
• 更新策略：
  a.)固定步长，负梯度方向：步长太小收敛慢，步长太大震荡
  b.)动量更新，方向修正(在一定程度上保留之前更新的方向$v_{i-1}$，同时也利用当前的梯度方向$d({\theta }^{i-1})$进行微调)：
  $$\begin{gathered} 迭代方向：v_i=\mu v_{i-1}+\alpha d({\theta }^{i-1}) \\ 迭代参数序列点：{\theta }^i={\theta }^{i-1}-v_i \end{gathered}$$
  c.)改进的动量更新(将迭代方向$v_i$对$\theta i$的作用进行拆分)：
  $$\begin{gathered} 中间量：({\theta }^{i-1}{)}^{\prime }={\theta }^{i-1}-\mu v_{i-1} \\ 中间量梯度：{\theta }^i=({\theta }^{i-1}{)}^{\prime }-d(({\theta }^{i-1}{)}^{\prime }) \end{gathered}$$
  d.)自适应步长更新(学习率α在每个方向固定，迭代时容易被卡在鞍点)：
  $$\begin{gathered} 累加梯度：ac{c}_i=ac{c}_{i-1}+(d({\theta }_{i-1}){)}^2 \\ {\theta }_i={\theta }_{i-1}-\frac{\alpha }{\sqrt{acci+ϵ}}d({\theta }_{i-1}) \end{gathered}$$
  从上式可见，当累加梯度比较小时，学习率会比较大，迭代步长变大，收敛快；当累加梯度比较大是，学习率会比较小，迭代步长变小，防止迭代过头。学习率会随迭代次数增长而减小，在接近目标函数的极小值时，不会因为学习率过大而走过头。

2. 共轭梯度法：
   由于，可以将任何二次可微的函数做二阶Taylor展开作近似，所以下面只叙述二次型的优化：
   $$f(x)=\frac{1}{2}{x}^{T}Qx+b^{T}x+c$$
   其中$x=(x_1,x_2,\cdots ,x_n{)}^T,Q^T=Q\in R^{n\times n}$。如果找到一组关于$Q$共轭的基，那么就可以将$f(x)$进行各维度变量的分离，再分别沿每一个维度方向进行一维搜索：
   $$\begin{gathered} p_i^{T}Q{p}_j=0，i\ne j \\ f(Px)=\frac{1}{2}(Px{)}^{T}Q(Px)+b^T(Px)+c \\ =\sum _{i=1}^n(\frac{1}{2}{x}_i^T{p}_i^{T}Q{p}_i{x}_i+b^T(p_i{x}_i))+c \\ =f_1(x_1)+f_2(x_2)+\cdots +f_n(x_n)+c \end{gathered}$$
   所以，优化目标就是寻找有效的关于$Q$共轭基向量组$p_1,p_2,\cdots ,p_n$：
   $$\begin{gathered} 方向合成：p_{k+1}=-\nabla f(x^{k+1})+{\lambda }_k{p}_k \\ 迭代点更新：x^{k+1}=x^k+{\alpha }_k{p}_k \end{gathered}$$
   上式中，方向合成参数${\lambda }_k$ 由基共轭条件$p_k^{T}Q{p}_{k+1}=0$求得，迭代点更新步长参数${\alpha }_k$由精确线性搜索$\nabla f(x_{k+1})=0$求得。

3. 牛顿法：
   对任意二阶可微的函数$f(x)$进行二阶Taylor展开：
   $$f(x)\approx f(x^k)+\nabla f(x^k{)}^T(x-x^k)+\frac{1}{2}(x-x^k{)}^T{\nabla }^{2}f(x^k)(x-x^k)$$
   则在$f(x)$的极值点$x\ast$处由$\nabla f(x^{\ast })=0$得：
   $$x^{\ast }=x^k-\frac{\nabla f(x^k)}{{\nabla }^{2}f(x^k)}$$
   类比于前面的迭代算法，这里迭代方向是$d_k=\nabla f(x^k)$，步长为${\lambda }_k=({\nabla }^{2}f(x^k){)}^{-1}$

4. 拟牛顿法：
   牛顿法里，步长Hessian矩阵的逆在实际计算中计算量过大，考虑寻求替代。对$f(x)$在$x^{k+1}$处二阶Taylor展开式，然后求导，再令$x=x^{k+1}$
   ，有：
   $$\nabla f(x^{k+1})-\nabla f(x^k)={\nabla }^{2}f(x^{k+1})(x^{k+1}-x^k)$$
   上式就是拟牛顿条件，用${\nabla }^{2}f(x^{k+1})$近似牛顿法中的Hessian矩阵。
   很多经典的算法，如DFP算法、BFGS算法等都可以用于求解Hessian矩阵及其逆矩阵，进一步，还可以证明迭代过程保持正定性等性质。

对于含约束的优化问题，可以利用Lagrange乘子法转化成无约束优化问题。

---

参考资料：

• 百度百科
• https://blog.csdn.net/tsyccnh/article/details/79163834
• https://blog.csdn.net/cymy001/article/details/78152599?utm_source=blogxgwz7