深度学习-数学基础

1. 线性代数

1. 线性代数:

• 向量Vector，可以使任意维度
• 标量Scalar
• 矩阵Matrix，来自相同的向量空间的向量构成矩阵
• 张量Tensor

2. 矩阵运算

• 加减乘，转置
• 两个列向量点成值为一个张量
• 矩阵的秩，极大无关组的个数
• 单位矩阵
• 矩阵行列式
• 矩阵的逆
• 向量标准化
• 伪逆矩阵
• 单位向量和向量投影
• 特征向量，特征值
• 协方差矩阵
• 矩阵的特征方程
• 特征值和特征向量没有指定向量空间

2.1 矩阵和向量相乘

$A$为$m\times n$，$B$为 $n\times p$
$$\mathbf{C}=\mathbf{A}\mathbf{B}\text{\hspace{1em}(2.1)}$$
具体定义为
$$C_{i,j}=\sum A_{i,k}{B}_{k,j}\text{\hspace{1em}(2.2)}$$
交换律：
$$\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{A}\mathbf{B}+\mathbf{A}\mathbf{C}\text{\hspace{1em}(2.3)}$$
结合律：
$$\mathbf{A}(\mathbf{B}\mathbf{C})=(\mathbf{A}\mathbf{B})\mathbf{C}\text{\hspace{1em}(2.4)}$$
矩阵转置：
$${(\mathbf{A}\mathbf{B})}^{\top }={\mathbf{B}}^{\top }{\mathbf{A}}^{\top }\text{\hspace{1em}(2.5)}$$

线性方程组：
$$\mathbf{A}\mathbf{x}=\mathbf{b}\text{\hspace{1em}(2.6)}$$
其中$\mathbf{A}\in {\mathbb{R}}^{m\times n}$是一个一直矩阵, $b\in {\mathbb{R}}^m$是一个已知向量，$\mathbf{x}\in {\mathbb{R}}^n$ 是需要求解的未知向量。矩阵的每一行都和向量构成一个约束：

$$\begin{gathered} A_{1,1}{x}_1+A_{1,2}{x}_2+...+A_{1,n}{x}_n=b_1 \\ {A}_{m,1}{x}_1=A_{m,2}{x}_2+...+A_{m,n}{x}_n=b_m\text{\hspace{1em}(2.7)} \end{gathered}$$

2.2 单位矩阵和逆矩阵

单位矩阵：
$$\forall \mathbf{x}\in {\mathbb{R}}^n,{\mathbf{I}}_n\mathbf{x}=\mathbf{x}\text{\hspace{1em}(2.9)}$$
矩阵$\mathbf{A}$的逆矩阵为${\mathbf{A}}^{-1}$，满足：
$${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_n$$
对2.6求解：
$$\begin{gathered} {\mathbf{A}}^{-1}\mathbf{A}\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b} \\ {\mathbf{I}}_n\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b} \\ \mathbf{x}={\mathbf{A}}^{-1}\mathbf{b} \end{gathered}$$

2.3 线性相关和生成子空间（逆矩阵存在条件）

要想矩阵可逆，必须保证每一个$\mathbf{b}$值至多有一个解，为此需要保证矩阵列向量的个数等于$\mathbf{b}$值的个数，且线性无关，也就意味着矩阵必须是一个方阵，并且列向量之间线性无关。
一个列向量线性相关的矩阵是奇异的。

线性组合：形式上是每个向量乘以对应标量系数之后的和：${\sum }_i{c}_i{v}^{(i)}$
生成子空间：原始向量线性组合后所能抵达的点的集合

确定$\mathbf{A}\mathbf{x}=\mathbf{b}$是否有解，相当于确定向量$\mathbf{b}$是否在$\mathbf{A}$的生成子空间中。，这个特殊的生成子空间被称为$\mathbf{A}$的列空间或者值域。

如果任意一组向量中的任意一个向量都不能表示其他向量的线性组合，那么该组向量称为线性无关

2.4 范数

$L^p$范数的定义:（p次方之和再开p次根）
$$||\mathbf{x}|{|}_p=(\sum _i|x_i{|}^p{)}^{\frac{1}{p}}(p\in \mathbb{R},p>1)\text{\hspace{1em}(2.10)}$$
范数是将向量映射到非负值的函数，直观上来说，向量$\mathbf{x}$的范数衡量从原点到$\mathbf{x}$的距离，是满足下列性质的任意函数：
$$\begin{gathered} 1.f(\mathbf{x})=0\to \mathbf{x}=0 \\ 2.f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y}) \\ 3.\forall \alpha \in \mathbb{R},f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x})\text{\hspace{1em}(三角不等式)} \end{gathered}$$

平方$L^2$范数在数学和计算上都比$L^2$本身更方便，比如平方$L^2$范数的导数只和对应的元素相关，但是$L^2$范数和整个向量相关。而且平方$L^2$范数可以通过点积${\mathbf{x}}^{\top }\mathbf{x}$获得。

但是，$L^2$在原点附近增长缓慢，当0正好为界限时，变化不明显，表现不是很好。此时可以使用$L^1$：$||\mathbf{x}||={\sum }_i|x_i|$当零和非零元素之间的差异非常重要时，可以使用$L^1$范数，当$\mathbf{x}$从0增加到$ϵ$，对应的范数也增加$ϵ$。

衡量矩阵的大小，深度学习中常用Frobenius范数：
$$||\mathbf{A}|{|}_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}\text{\hspace{1em}(2.11)}$$

2.5 特征分解

方阵$\mathbf{A}$的特征向量是指与$\mathbf{A}$相乘后相当于该向量进行缩放后的非零向量$\mathbf{v}$：
$$\mathbf{A}\mathbf{v}=\lambda \mathbf{v}\text{\hspace{1em}(2.12)}$$
假设矩阵$\mathbf{A}$有$n$个线性无关的特征向量 { v ( 1 ) , . . . , v ( n ) } \{ \boldsymbol{v}^{(1)}, ... , \boldsymbol{v}^{(n)} \} {v(1),...,v(n)}对应的特征值 { λ 1 , . . . λ n } \{\lambda_1, ... \lambda_n\} {λ1​,...λn​}，将特征向量构成矩阵，特征值构成向量：$\mathbf{V}=[{\mathbf{v}}^{(1)},...,{\mathbf{v}}^{(n)}],\lambda =[{\lambda }_1,...{\lambda }_n{]}^{\top };\mathbf{A}$的特征分解为：
$$\begin{gathered} \mathbf{A}=\mathbf{V}diag(\lambda ){\mathbf{V}}^{-1} \\ \mathbf{A}=\mathbf{Q}\Lambda {\mathbf{Q}}^{\top }\text{\hspace{1em}(2.13)} \end{gathered}$$
其中$\mathbf{Q}$是$\mathbf{A}$的特征向量组成的正交矩阵，$\mathbf{\Lambda }$是特征值的对角矩阵。

2.6 奇异值分解

奇异值分解是 得到特征分解相同类型的信息

数值计算(微积分)

1. 梯度下降

大多数深度学习算法需要最小化目标函数（损失函数，代价函数）
$$\begin{gathered} Loss=f(|y-\hat{y}|) \\ z=|y-\hat{y}| \\ Loss=f(z)\text{\hspace{1em}(1.1)} \end{gathered}$$
梯度：一个向量求导的导数。
$f$的梯度：包含所有偏导的向量${\nabla }_{x}f(x)$，梯度的第$i$个元素是$f$对$x_i$的偏导数

梯度下降：
$$x^{\prime }=x=ϵ{\nabla }_{x}f(x)$$
$ϵ$为学习率

2. 约束优化

使用范数

3. 上溢下溢

连续数学在数字计算机上的根本困难是，我们需要通过有限的位模拟来表示无限多的数。这就意味着我们在计算机中表示实数时，几乎总会引入一些近似误差。在许多情况下，这仅仅是舍入误差。舍入误差会导致一些问题，特别是当一些操作复合时，即使是理论上可行的算法，如果在设计时没有考虑到最小舍入误差的累积，在实践时，也可能会导致算法失效。

一种几句毁灭性的舍入误差是下溢，当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是很小的正数时才会表现出质的的不同。例如，通常需要避免被零除（一些会抛出异常，一些返回NaN）或避免取零的对数。
另一种极具破坏力的数值错误方式是上溢当大量级的数近似为无穷时发生上溢。

举例：$softmax(\mathbf{x})=\frac{exp(x_i)}{{\sum }_{j=i}^{n}exp(x_j)}$，当所有的$x_i$都等于某个常数$c$，时会发生什么？

• 理论上说，最后的输出都应该为$\frac{1}{n}$。
• 数值上说，当$c$量级很大时，

概率与信息论

1. 频率概率和贝叶斯概率

频率概率：概率直接与事件发生的频率相联系，如扔骰子
贝叶斯概率：涉及到确定性水平，或者信任度。

一个随机变量是对可能的状态的一个描述；必须伴随一个概率分布来描述指定状态的可能性

2. 概率分布

2.1 离散型变量和概率质量函数（PMF）

概率质量函数能够将随机变量取得的每个状态映射到随机变量取得该状态的概率。

概率质量函数可以同时作用于多个随机变量，多变量概率分布为联合概率分布。
注：PMF也可以成为概率分布律

2.2 连续型变量和概率密度函数（PDF）

概率密度函数$p(x)$并没有直接对特定的状态给出概率，其在某一区间的面积为概率，因此可以对概率密度函数求积分获取概率。

3. 边缘概率

已知一组联合概率分布，求子集的概率分布，采用求和法：
离散，将$\mathrm{y}=y$的部分求和：
$$\forall x\in \mathrm{x},P(\mathrm{x}=x)=\sum _{y}P(\mathrm{x}=x,\mathrm{y}=y)$$
连续，将$\mathrm{y}$的部分积分：
$$p(x)=\int p(x,y)dy$$

4. 条件概率

$$P(A|B)=\frac{P(AB)}{P(B)}\Rightarrow P(AB)=P(B)P(A|B)\text{\hspace{1em}(1.1)}$$
条件概率的概率链式法则
$$\begin{gathered} P(A_1{A}_2{A}_3...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)....P(A_n|A_1{A}_2...A_{(n-1)}) \\ P(A_1)\prod _{i=2}^{n}P(A_i|A_1{A}_2...A_{(n-1)}) \end{gathered}$$

5.期望、方差、协方差

• 期望：当$x$由$P$产生，$f$作用于$x$时，$f(x)$的平均值。
  离散：
  $${\mathbb{E}}_{x\sim P}[f(x)]=\sum _{x}P(x)f(x)$$
  连续：
  $${\mathbb{E}}_{x\sim P}[f(x)]=\int p(x)f(x)dx$$

• 方差：和平均值的差异，差异越大，方差越大，波动越大;标准差是对其进行开方

• 方差衡量的是当对$x$，依据它的概率分布进行采样时，随机变量$x$的函数值呈现多大的差异
  $$Var(f(x))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)]{)}^2]$$

• 协方差：两个变量线性相关性的强调，以及变量的尺度；如果绝对值很大，则意味着变量值变化大尺度很大，且同时距离各自的均值很远。
  $$Cov(f(x),g(y))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])(g(y)-\mathbb{E}[g(y)])]$$

6. 常用的分布

6.1 伯努利（两点分布）分布（Bernoulli）

该分布研究的是一种特殊的实验，这种实验只有两个结果要么成功（1）要么失败（0），且每次实验是独立的并每次实验都有固定的成功概率p。
$$P(\mathrm{x}=x)=p^x(1-p{)}^{1-x}=\{\begin{array}{rl}p& (x=1)\\ q& (x=0)\end{array}$$
期望：
$$E(x)=1\cdot p+0\cdot (1-p)=p$$
方差：
$$Var(x)=E[(x-E[x]{)}^2]=\sum (x-p{)}^{2}P(x)=pq$$

6.2 二项分布

描述N次独立的伯努利实验中有m次成功（即 x=1）的概率，其中每次伯努利实验成功的概率为$\mu \in [0,1]$。所期望的结果出现次数的概率（如，成功$x$次的概率），如果$X\sim B(n,p)$，对应的概率质量函数;
$$\begin{gathered} P(x)=P(X=x)=C_n^x{p}^x(1-p{)}^{n-x} \\ {C}_n^x=\frac{n!}{k!(n-k)!}\text{\hspace{1em}(6.1)} \end{gathered}$$

均值：$E[X]=np,p$表示取得成功结果的概率，即Eq6.1的值。
方差：$Var(x)=npq$

分布形状的变化规律:

• "成功"概率p越接近0.5(也即"成功"概率与"失败"概率越接近)，二项分布将越对称。保持二项分布试验的次数n不变，随着成功概率p越接近0.5，二项分布逐渐对称，且近似于均值为np、方差为npq的正态分布。(见下图的第一排3个子图) (实验次数不变，看概率变化)
• 对于任意"成功"概率p，无论其距离0.5有多远，随着试验次数n的增加，二项分布与均值为np、方差为npq的正态分布越来越接近。(见下图的第二排3个子图) (概率不变，看实验次数变化)

以上两个二项分布形状变化规律，可明显由下图观察出来。图中的横轴代表试验"成功"的次数；纵轴代表次数对应的概率；红线是均值为np、方差为npq的正态分布曲线。

6.3 多项式分布（Multinomial）

将二项式分布推广到多项式分布(Multinomial Distribution)，二项式分布式n次伯努利实验，规定了每次的实验结果只有两个。现在还是做n次实验，只不过每次实验的结果变成了m个，且m个结果发生的概率互斥且和为1，则发生其中一个结果X次的概率就是多项式分布。

扔骰子是典型的多项式分布。骰子有6个面对应6个不同的点数，这样单次每个点数朝上的概率都是1/6（对应p1~p6，它们的值不一定都是1/6，只要和为1且互斥即可，比如一个形状不规则的骰子）,重复扔n次，如果问有$x$次都是点数6朝上的概率就是

$$P(X=k)=C_n^k{p}_{(6)}^k(1-p_{(6)}{)}^{n-k},k=(0,1,2,\cdots ,n)$$
推广为一般的概率质量函数：
$$P(x_1,x_2,x_3,...,x_k)=\frac{n!}{m_1!m_2!...m_k}\prod _{i=1}^n{p}_i^{m_i},\sum _{i=1}^n{p}_i=1$$
将试验进行N次，第$i$=种可能发生的次数为$m_i$，${\sum }_i^k{m}_i=n$，将每种情况发生的次数加起来就是总共的N次

质量函数推导：

• k种（类别）独立的取值可能，n次实验，每种可能的概率为$p_1,p_1,...,p_k$。
• 第一种没选中$m_1$次，第二种被选中$m_2$，第k种选中$m_k$的概率为：
  $$C_n^{m_1}{p}_1^{m_1}\cdot C_{n-m_1}^{m_2}{p}_2^{m_2}\cdot ...\cdot C_{n-m1-m_2-...-m_{k_1}}^{m_k}{p}_k^{m_k}=1$$
  注：utinoulli分布是多项式分布的特例

6.4 高斯分布（正态分布）

正态分布由两个参数控制，均值：$\mu \in \mathbb{R}$，方差 ：$\sigma \in (1,\infty )$
$$N(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}exp(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2)\text{\hspace{1em}(6.4.1)}$$

多维正态分布：
$$N(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })=\sqrt{\frac{1}{(2\pi {)}^{n}det(\mathbf{\Sigma })}}exp(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }){)}^{\top }{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu }))\text{\hspace{1em}(6.4.2)}$$

$\mathbf{\Sigma }$是分布的协方差矩阵
正态分布被广泛应用的原因：

• 很多分布的真实情况是比较接近正态分布的
• 相同方差的所有可能概率分布中，正态分布具有最大的不确定性。

6.5 指数分布和Laplace分布

深度学习经常需要一个在x=0出取得边界点的分布。可以使用指数分布：
$$p(x;\lambda )=\lambda 1_{x\ge 0}exp(-\lambda x)\text{\hspace{1em}(6.5.1)}$$
Laplace分布可以在任意$\mu$处设置概率质量的峰值,由于它可以看作是两个不同位置的指数分布背靠背拼接在一起，所以它也叫作双指数分布.两个相互独立同概率分布指数随机变量之间的差别是按照指数分布的随机时间布朗运动，所以它遵循拉普拉斯分布. :
$$Laplace(x;\mu ,\gamma )=\frac{1}{2\gamma }exp(-\frac{|x-\mu |}{\gamma })\text{\hspace{1em}(6.5.2)}$$

6.6 经验分布函数

7. 信息论

信息论的基本思想是：一个不太可能发生的事件发生了，要比一个非常可能的事件发生，能提更多的信息。

• 非常可能发生的事件信息量较少，并且极端情况下，确保能发生的事件没有信息量
• 较不可能发生的事件具有更高的信息量
• 独立事件具有增量的信息量，例如，投掷硬币两次正面向上的信息量，应该是投掷一次正面向上的2倍。

https://www.jianshu.com/p/59335680cc29
https://blog.csdn.net/bitcarmanlee/article/details/82156281
深度学习 Ian
https://blog.csdn.net/shenxiaoming77/article/details/50630216