机器学习中的隐变量和隐变量模型

开篇

这篇博客算我自己给自己挖的一个坑，主要想讲讲机器学习中的隐变量，今天在推导EM算法，李航在统计学习方法中的EM引入中提到了隐变量的概念（latent variable），他提到了如果我们的概率模型的变量都是观测到的变量，那么给定数据，我们就可以使用极大似然估计法，或者其他估计法去估计参数，但是当模型有隐变量的时候，就该我们的EM算法闪亮登场了。这边我先介绍一下什么是隐变量。后续关于隐变量模型我将逐一续上。

隐变量

什么是隐变量呢，让我们先简单的说一下，我们估计算法在做的一些事情，我们要做的其实就是估算出概率模型的参数，概率模型是什么呢？你可以简单把它理解成一个分布，甚至说可以把它理解成一个函数，我们的估计算法就是为了求解出这些函数的参数而存在的。这边借用知乎上的一个例子，希望能够解释清楚隐变量是什么？
如果你站在这个人旁边，你目睹了整个过程：这个人选了哪个袋子、抓出来的球是什么颜色的。然后你把每次选择的袋子和抓出来的球的颜色都记录下来（样本观察值），那个人不停地抓，你不停地记。最终你就可以通过你的记录，推测出每个袋子里每种球颜色的大致比例。并且你记录的越多，推测的就越准（中心极限定理）。然而，抓球的人觉得这样很不爽，于是决定不告诉你他从哪个袋子里抓的球，只告诉你抓出来的球的颜色是什么。这时候，“选袋子”的过程由于你看不见，其实就相当于是一个隐变量。隐变量在很多地方都是能够出现的。现在我们经常说的隐变量主要强调它的“latent”。所以广义上的隐变量主要就是指“不能被直接观察到，但是对系统的状态和能观察到的输出存在影响的一种东西”。所以说，很多人在研究隐变量。以及设计出各种更优(比如如可解释、可计算距离、可定义运算等性质)的隐变量的表示。原始答案

这边扯一下主题模型（LDA），它就是典型的隐变量模型，我这边稍微讲一下LDA文本建模的过程，以上帝掷骰子为例，上帝会通过掷骰子去选择一个主题，选择完主题后，上帝又会选择这个主题的一个骰子，去选择一个单词，那么摇来摇去，我们的文本就生成了。但是我们看到只是文本，而不知道上帝操作的过程。但是文本就是这样神奇的生成了，我们要怎么去猜测上帝的骰子呢。

如果到这里你还是没有对隐变量有个感性的认识，那我这边再贴一篇博客，主要是关于EM算法的，EM算法其实就是加了隐变量的参数估计算法，如何感性地理解EM算法，这博客里面没有大批的公式，有的是对算法的感性认识，感性认识是一切算法理论的基础，希望大家能够有所收获，有问题欢迎留言。

隐变量模型

（未完，待我慢慢整理）

HMM模型

概率图模型中的一种模型，主要应用在序列标注的一些NLP任务。典型带有隐变量的模型，隐变量顾名思义就是我们观测不到的一类变量。HMM要解决的主要任务序列标注就是找出隐变量。

更多的理论请看概率图模型