数据集分布拟合最大似然练习1

数据集对一个分布的似然率计算过程：

一个数据集可以是各种分布的，可以是高斯分布，指数分布等。但是它是这种分布的概率有多大呢？我们将计算每个点属于这个分布的概率。如果整个概率最大，那整体概率就高。

上图参考链接来自https://www.youtube.com/watch?v=XepXtl9YKwc

 例如要计算这个分别的概率，就是计算每个点属于这个分布的概率的乘积。由于概率越乘越小。可以选择用log来把乘变成加。例如gmm的分布概率推导，

为了保证数据的精度，推导如下：

先对数据求log变成log(P),然后 log likelihood就变成 log_sum_exp(log(P) ），而log_sum_exp的优化技巧：

参考链接https://www.xarg.org/2016/06/the-log-sum-exp-trick-in-machine-learning/

这里证明的是，我们可以保证e^x，中x的最大值为0，而不会发生溢出。