深度学习（Deep Learning）——第3章 概率和信息论

1、离散性变量和概率质量函数

（1）离散变量的概率质量函数（PMF）通常用大写字母P表示，也可以同时作用于多个随机变量，称为联合概率分布；

（2）P的定义域必须是所有可能状态的集合，且对于∀x，有0≤P(x)≤1成立，同时所有状态的概率和为1。

 

2、连续型变量和概率密度函数

（1）如果一个p是概率密度函数，则必须满足：

① p的定义域必须是x所有可能状态的集合；

② ∀x，有p(x)≥0，但并不要求p(x)≤1；

③  

 

 

3、边缘概率和条件概率

（1）对于联合概率分布，我们想了解其中一个变量子集的概率分布，可在另一个变量上利用求和法则，就可以得到边缘概率；

（2）条件概率表示某个事件在给定其他事件发生时出现的概率；

（3）对于任意多维随机变量的联合概率分布，都可分解为只有一个变量的条件概率相乘的形式，称为概率的链式法则，如：P(a,b,c)=P(a|b,c)P(b|c)P(c)；

（4）独立性和条件独立性。

 

4、期望、方差和协方差

（1）离散型变量的期望：

        连续型随机变量的期望：

（2）方差：

（3）协方差表示两个变量的线性相关性强度和变量的尺度，表示为：

        协方差绝对值越大，表明变量值变化越大，并且同时距离各自的均值很远；相互独立的两个事件协方差一定为0，但是协方差为0的两个事件不一定相互独立，这是因为协方差为0只能说明两个事件没有线性相关性，不能排除非线性相关的可能性。

 

 

5、常用概率分布

（1）伯努利分布是单个二值随机变量的分布：

        

 

（2）多项式分布：

         

（3）高斯分布（正态分布）：

         

        当我们不清楚某个模型属于哪种分布时，正态分布常常是默认的最好的选择。

 

（4）指数分布：p(x; λ) = λ exp(-λx)（x≥0），在深度学习中作为在x=0处取得边界点的分布使用。

        拉普拉斯分布：，在任意一点μ处设置概率质量的峰值。

 

（5）Dirac分布（δ函数）和经验分布：p(x) = δ(x-μ)，可能通过δ函数将所有质量集中在一个点上；所谓经验分布就是将概率密度为的赋给m个不同的点，这些点是给定数据集的采样集合。

 

 

6、常用的函数

（1）logistic sigmoid函数：

         

 

         通常用来产生伯努利分布的参数φ，sigmoid函数在变量绝对值非常大的正值或负值时会出现饱和现象，对输入的微小变化变得不敏感。

（2）softplus函数：，常用于产生正态分布的β和σ参数，这个函数时另外一个函数x+ = max(0,x)的平滑形式。

（3）重要性质：

 

7、贝叶斯规则和连续型变量：

 

 

8、信息论

（1）一个事件X=x的自信息为I(x)=-logP(x)（单位：奈特）或者 =log2P(x)（单位：比特），其中P(x)表示事件发生的概率；

（2）香农熵(entropy)：H(x)=-P(x)log2P(x)；

（3）KL散度：假设两个单独的概率分布P(x)和Q(x)，要衡量两个分布的差异，则

         ，KL散度并不是对称的，DKL(P||Q)≠DKL(Q||P)；

（4）交叉熵（cross-entropy）：H(P,Q)= H(P)+DKL(P||Q)，针对Q最小化交叉熵等价于最小化KL散度，所以

 

 

9、结构化概率模型

（1）有向模型：使用带有有向边的图，对于分布中每一个随机变量xi都包含一个影响因子，这个影响因子被称为xi的父节点，记为Pa(xi)，则：

（2）无向模型：使用带有无向边的图，随机变量的联合概率与所有这些因子的乘积成比例，定义归一化常数Z是φ函数乘积的所有状态的求和或积分，概率分布为：

 

（3）这些图模型表示的分解仅仅是描述概率分布的一种语言，任何概率分布都可以用这两种方式描述。