狄利克雷分布公式_超详细推导：PRML中指数族分布的二阶偏导

纯干货向，数学公式推导爱好者可以浏览浏览，欢迎交流~

本文将按照Point->Reason->Example->Point的结构，推导PRML中指数族分布的一阶偏导以及二阶偏导与充分统计量的关系。

一、Point：指数族分布的形式以及偏导的形式

（1）指数族分布的形式

指数族分布指的不是某个具体的分布，而是一种抽象形式，可以具象化为高斯分布，伯努利分布，二项分布，Beta分布以及狄利克雷分布等。PRML书中给出的指数族分布形式为：

指数族分布，等式（1）

其中随机变量

可以是标量/向量，可以为离散/连续。

被称为概率分布的自然参数（natural parameter），

指数族分布的一阶与二阶偏导即是关于参数

的偏导。

与

是随机变量

的某个函数。函数

表示概率分布的归一化系数：

指数族分布的积分，等式（2）

请注意，这个性质非常重要，后续推导中都会用到这个等式。

（2）指数族分布的一阶偏导与二阶偏导的形式

这里直接给出结论：

这个结论表示：归一化系数

关于自然参数

的一阶导数以及二阶导数即是随机变量的函数

的期望和方差（相差符号）。

这是非常有用的，假如指数族分布是某个高斯分布，那么可以通过对求函数

关于

的导数得到其均值与方差两个参数，高斯分布的形式就解出来了。

---

二、Reason：指数族分布偏导形式的详细推导

（1）指数族分布的一阶偏导

这里是针对等式（2）的两边关于自然参数

求偏导，由于积分是关于随机变量

的积分而与

无关，直接根据乘法求导原理，有：

等式（3）

接下来，根据等式（1）以及等式（2）的变换形式：

等式（4）

将等式（1）以及等式（4）代入等式（3），可以得到：

解释一下每一步的变换：

（2.1）偏导符号改写成

；

（2.2）根据数学期望的定义式

，将等式（1）给出的概率分布

视为随机变量

的分布，

为随机变量

的函数，可以发现（2.2）步就是用期望符号替换掉了积分；

（2.3）移项；

（2.4）将分数形式改写成复合函数求导的等价形式：

至此，推导出了一阶偏导的形式。

（2）指数族分布的二阶偏导

二阶偏导在PRML的书上是作为一道课后习题给出的，网上对这个偏导的推导资料比较少，因此笔者自己动手推导了一遍。

二阶偏导，就是在一阶偏导的等式（3）中再对自然参数

求一次偏导，同样地应用函数乘法求导的原理就好了（

这里合并了一下同类项，并再次根据期望的定义式把积分替换成了期望）：

等式（5）

对等式（5）的两边同时乘以

得到：

解释一下每一步的变换：

（2.5）对于加和的第一项，使用了指数族分布的积分等于1的性质（即等式（2）），代入后积分项消失；

对于加和的第二项，则使用了一阶导数等于0的特点，有：

用等式右边替换掉左边。

（2.6）将等式（4）代入加和的第二项得到；

（2.7）移项。

利用前面推导得出的一阶偏导中数学期望和函数

的关系，有：

接下来，就容易证明二阶偏导的结论了：

至此，推导证明结束。

---

三、Example：高斯分布的均值与方差

这个步骤在PRML中已经有了详细的讲解，可以跳过~

为了保证本文体系的完整性，再啰嗦一下高斯分布这个例子，来更好地理解指数族分布这个特点的应用~

（1）高斯分布的指数族表达

对于一元高斯分布，有：

图是原书截的

把它和等式（1）给出的指数族分布形式一一对号入座，有：

图是原书截的+1

现在通过前面推导的公式来验证一下，偏导会是啥结果（这里只考虑

的系数

的情况）：

同样地可以得到：

这里就得到了

的均值和方差，要得到

的均值和方差，对

求一阶和二阶偏导即可。

---

四、Point：回顾结论

本文通过给出指数族分布的定义，推导了指数族分布中的归一化系数

关于自然参数

的一阶导数和二阶导数，得到了如下非常有意思的结论：

并通过高斯分布的例子，说明了指数族分布这个特性的应用点。

最后，公式推导不容易啊。