deep|Bayes（2）

隐变量模型

 

对象真实特征的不可量化的变量

现实不存在，在模型中存在且起作用

三硬币模型

混合高斯模型

EM算法

•一种数据添加算法

•当前科学研究以及各方面实际应用中数据量越来越大

•算法简单，稳定上升的步骤能非常可靠地找到“最优的收敛值”

•数据添加技术，所添加的数据通常被称为“潜在数据”

步骤：

已知：样本X 其中有m个独立样本，，样本中的类别未知即Z未知

求：估计概率模型的，因此要找到合适的使得似然函数最大

•E步 ：根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率，其实就是隐性变量的期望。

•M步：将似然函数最大化以获得新的参数值

 优点：是一种非梯度的优化方法，一定会找到局部最优解

缺点：对初始值敏感，结果因初始值的不同变化较大。

贝叶斯网

***************

先跳过

**************

KL散度

KL散度一般作为两个分布间距离的度量方法，它常用于生成模型的损失函数。这里的距离不是真的距离，而是qx与px之间的差距

怎么证明，很简单??(?(?)||??) != ??(p(?)||qx）

两个性质：不满足对称性；非负性——吉布斯不等式可证明

信息论中称为相对熵，=交叉熵-熵

作用：适用于优化问题，在某个变化范围内，KL散度取最小值时，对应的参数就是我们想要的最优参数

 

 

---

参考文献：

https://www.cnblogs.com/Gabby/p/5344658.html

https://www.cnblogs.com/Nietzsche/p/4255900.html