指数族分布(1)——背景及高斯分布指数族形式

一、背景
机器学习经常要做这样一件事：给定一组训练数据 D，我们希望通过 D 得到我们研究的空间的概率分布。
但是在没有任何假设的情况下，直接学习概率分布是不现实的。直接学习概率分布最简单的方法，就是把空间分成很多很多小的单元，然后统计样本落在每个单元的频率，作为每个单元的概率分布。但是这种方法会面临着数据不足、有噪音、存储能力受限等问题。
所以在大多数情况下，我们都会人为指定某种概率分布的形式（例如指定为高斯分布或伯努利分布等）。当然，由于人为限定了概率分布形式，我们就需要根据不同的问题选择不同的分布，就像对不同问题选择不同的机器学习模型一样。
指数族分布就是一类常用的分布模型，它有很多优良的性质。

参考：https://www.cnblogs.com/shenchuguimo/p/9847083.html

二、高斯分布指数族形式