DataWhale深度学习（一）数学基础

1 绪论

近年人工智能异常火热，它虽然是一门新兴的学科，但是在图像、自然语言、语音等领域大放异彩。而各行各业也积极拥抱AI，使得机器学习技术炙手可热。深度学习作为机器学习的一部分也获得了大量的关注，特别是卷积神经网络在图像识别竞赛中获得巨大优势，以及DeepMind应用强化学习战胜世界围棋高手李世石，使得深度学习万众瞩目。

深度学习的发展离不开数学，概率法则告诉我们AI系统如何推理，信息论使我们能够量化概率分布中的不确定性总量，对于算法以及AI框架的实现又离不开工程性极强的线性代数。因此我们在学习深度学习之前，首先要掌握好相关的数学基础，这样才能在后续的学习中游刃有余。

2 概率论

1. 随机变量
   随机变量是随机事件的数量表现，对随机事件进行数量量化的好处就是可以用数学分析的方法来进行分析研究。
   随机变量可以是离散的也可以是连续的，离散随机变量拥有有限或者无限多的状态；连续随机变量伴随着实数值。

2. 边缘概率和条件概率
   当我们知道了一组变量的联合概率分布，但是想要了解其中一个子集的概率分布，这一定义在子集上的概率分布被称为边缘概率分布。还有很多时候我们感兴趣的是某个事件在给定其他事件发生时出现的概率，这种概率称为条件概率。
   假设有离散变量x和y，我们知道其联合概率分布P(x,y)，每行表示不同的x值、每列表示不同的y值。对于边缘概率可表示为：
   $$\forall x_i\in x,P(x_i)=\sum _{y}P(x=x_i,y=y_j)$$
   而对于连续变量可用积分替换求和：$P(x_i)=\int P(x,y)dy$
   条件概率则表示为：
   $$P(y=y_j|x=x_i)=\frac{P(y=y_j,x=x_i)}{P(x=x_i)}$$

3. 条件概率的链式法则
   任何多维随机变量的联合概率分布，都可以分解为只有一个变量的条件概率相乘的形式：
   $$P(x^{(1)},\dots ,x^{(n)})=P(x^{(n)})\prod _{i=2}^{n}P(x^{(i)}|x^{(i+1)},\dots ,x^{(n)})$$
   这就是条件概率的链式法则，例如：
   $$\begin{gathered} P(a,b,c)=P(a|b,c)P(b,c) \\ P(b,c)=P(b|c)P(c) \\ P(a,b,c)=P(a|b,c)P(b|c)P(c) \end{gathered}$$

4. 贝叶斯公式
   全概率公式：$P(B)={\sum }_{i=1}^{n}P(A_i)P(B|A_i)$
   先验概率：根据以往经验和分析得到的概率
   后验概率：得到“结果”的信息修正后的概率
   贝叶斯公式：计算后验概率$$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{P(B)}=\frac{P(B|A_i)P(A_i)}{{\sum }_{j=1}^{n}P(A_j)P(B|A_j)}$$

5. 常见概率分布
   5.1. 伯努利分布（0-1分布）：只有两种结果的单次随机实验。$$P(x=1)=p,P(x=0)=1-p$$
   5.2 二项分布：有两种结果的多次重复实验。$$P(x=k)={\text{C}}_n^k{p}^k(1-p{)}^{n-k}$$
   5.3 均匀分布（矩形分布）：给定长的间隔$[a,b]$内的分布概率是等可能的。$$P(x)=\frac{1}{b-1}$$
   5.4 高斯分布（正态分布）：$$P(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
   5.5 指数分布：常用来表示独立随机事件发生的时间间隔，重要特征是无记忆性。参数为$\lambda >0$的指数的概率密度函数为：$$P(x)=\lambda e^{-\lambda x},x⩾0$$

6. 常见统计量
   6.1 期望：当x由概率$P$产生时，$x$的平均值。$E(x)={\sum }_{x}xP(x)$或$E(x)=\int xP(x)dx$
   6.2 方差：衡量随机变量与其数学期望之间的偏离程度。$Var(x)=E([x-E(x){]}^2)=E(x{)}^2-[E(x){]}^2$
   6.3 协方差：衡量两个随机变量$X$和$Y$直接的总体误差。$Cov(X,Y)=E([x-E(x)][y-E(y)])=E(xy)-E(x)E(y)$

3 信息论

• 一维变量的熵

  • 自信息
    信息论主要研究的是对一个信号包含信息的多少进行量化。信息论的基本想法是一个不太可能发生的事情居然发生了，要比一个必然发生的事件发生了，能够提供更多的信息。
    我们定义一个事件$x=x_i$，其自信息为：$$I(x_i)=-logP(x_i)$$自信息只处理单个的输出。
  • 香农熵
    我们可以用香农熵来对整体的概率分布的不确定性总量进行量化：$$H(x)=-\sum _{i=1}^{n}P(x_i)logP(x_i)$$$H(x)$的值越小，则$x$的纯度越高，蕴含的不确定性越小。当$x$是连续的，香农熵也被称为微分熵。
  • 散度（KL）
    一个随机变量$x$有两个单独的概率分布$P(x)$和$Q(x)$，可以用散度衡量这两个分布的差异：$$D_{KL}(P||Q)=\sum _{i=1}^{n}P(x_i)log\frac{P(x_i)}{Q(x_i)}$$
  • 交叉熵
    一般用来求目标与预测值之间的差距，深度学习中常用于分类任务作为损失函数，$H(P,Q)=H(P)+D_{KL}(P||Q)$，则表示为：$$H(P,Q)=\sum _{i=1}^{n}P(x_i)logP(x_i)-\sum _{i=1}^{n}P(x_i)log\frac{P(x_i)}{Q(x_i)}=-\sum _{i=1}^{n}P(x_i)logQ(x_i)$$

• 二维变量的熵
  两个随机变量$X$和$Y$的联合分布为$P(X,Y)$

  • 联合熵
    用来度量二维随机变量$XY$的不确定性：$$H(X,Y)=-\sum _{i=1}^n\sum _{j=1}^{n}P(x_i,y_j)logP(x_i,y_j)$$
  • 条件熵
    在随机变量$X$发生的前提下，随机变量$Y$带来的熵，用来衡量$Y$的不确定性。定义为$Y$的条件熵：$$\begin{gathered} H(Y|X)=\sum _{i=1}^{n}P(x_i)H(Y|X=x_i) \\ =-\sum _{i=1}^{n}P(x_i)\sum _{j=1}^{n}P(y_j|x_i)logP(y_j|x_i) \\ =-\sum _{i=1}^n\sum _{j=1}^{n}P(x_i,y_j)logP(y_j|x_i) \end{gathered}$$
    有$H(Y|X)=H(X,Y)-H(X)$
  • 互信息
    $$I(X;Y)=H(X)+H(Y)-H(X,Y)$$
    

4 线性代数

线性代数广泛应用于科学和工中，掌握好线性代数对于理解和从事机器学习算法相关的工作很有必要。

• 基础
  • 标量：一个单独的数。
  • 向量：一列数。
  • 矩阵：二维数组。
  • 张量：超过两维的数组。在pytorch和TF中用张量（tensor）来表示向量、矩阵、张量
• 相关运算
  • 相乘：$\text{C}=\text{A}\text{B},C_{i,j}={\sum }_k{A}_{i,k}{B}_{k,j}$
  • 逆矩阵：${\text{A}}^{-1}\text{A}={\text{I}}_n$，其中${\text{I}}_n$为单位矩阵
• 特征分解
  将矩阵分解成一组特征向量和特征值，即$\text{A}v=\lambda v$
• 范数
  机器学习中经常使用范数来衡量向量的大小，对于$L^p$范数定义如下：$$L^p=||x|{|}_p=(\sum _i|x_i{|}^p{)}^{\frac{1}{p}}$$
  • 1范数：$||x|{|}_1={\sum }_i|x_i|$
  • 2范数：$||x|{|}_2=\sqrt{{\sum }_i|x_i{|}^2}$
  • 最大范数：$||x|{|}_{\infty }=\underset{i}{\max }|x_i|$

参考

• Datawhale相关资料《水很深的深度学习》
• 图书《深度学习》（花书）