【机器学习前置知识】隐变量

Axlsss

于 2024-01-26 19:24:10 发布

阅读量1.2k

点赞数 23

分类专栏：统计知识机器学习深度学习文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/weixin_41878387/article/details/135873263

版权

14 篇文章 1 订阅

订阅专栏

10 篇文章 0 订阅

订阅专栏

10 篇文章 2 订阅

订阅专栏

文章探讨了隐变量的概念，以抛硬币游戏为例，解释了如何通过观测数据推测硬币B和C正面向上的概率。在部分实验中，当硬币A的结果未知时，如何使用EM算法估计B和C的参数成为问题的关键。

摘要由CSDN通过智能技术生成

隐变量又称潜变量，顾名思义就是隐藏着的随机变量，它不能通过观测来得到，或者说它产生的过程是不可观测的，然而它却可以在潜移默化中影响可观测变量。

我们用抛硬币为例来解释什么是隐变量。假设有 $A 、 B 、 C$ 三枚硬币，正面向上的概率分别为 $θ_A$ 、 $θ_B$ 、 $θ_C$ ，我们想求出 $θ_B$ 和 $θ_C$ ，目前尚不知晓，但可以通过抛硬币的观测结果推测出来。

抛这三枚硬币的游戏规则是：第一步，先抛硬币 $A$ ，第二步，如果硬币 $A$ 正面向上，则选择硬币 $B$ 抛10次，记录这10次的结果；如果硬币 $A$ 反面向上，则选择硬币 $C$ 抛10次，记录这10次的结果。这样重复5次，则可以得到50个抛硬币的观测数据：

我们可以利用这个观测结果来估计 $θ_B$ 和 $θ_C$ 。

硬币 $B$ 在30次中正面向上出现24次，反面向上出现6次，由极大似然可得出现这种结果的概率为 $θ_B^{24}(1-θ_B)^{6}$ ，对应的图像如下：

在这里插入图片描述

可以看到在 $θ_B=0.8$ 时取到最大值，即 $θ_B={24\over 30}=0.8$ 。

同理可得 $θ_C={9\over 20}=0.45$ ，至此，我们通过观测数据估计出了硬币 $B 、 C$ 正面向上的概率，然而我们需要知道，得到这组观测数据的前提是每次我们知道该抛的是硬币 $B$ 还是硬币 $C$ 。

如果我们在上面的抛硬币游戏中，将第一步放入暗箱里操作，也就是说抛硬币 $A$ 的结果我们不得而知，只能得到最终50个观测结果：

那么在这种情况下，如何去估计出 $θ_B$ 和 $θ_C$ 呢？此时，就不能用最大似然去估计了，因为我们不再知道每组结果是来自硬币 $B$ 还是 $C$ 。