学习和推断

在机器学习里面经常遇到推断和学习两个词,下面对其进行区分。

图模型通常包括三种节点,观测变量、隐变量和参数, 分别用  表示。习惯上把计算隐变量分布的过程称作推断,把对参数的后验估计称作学习。具体的,推断是指计算的过程, 而学习是计算

的过程。 在上面的过程中,如果先验分布是均匀分布,那么 极大后验估计就退化成了极大似然估计。 这样的区分是有一定道理的,通常情况下,参数的个数是相对较少的, 后验分布是一个尖顶分布,因此可以用点估计。隐变量本身就是随机变量, 因此需要得到一个分布,频率派很自然的这样的理解。

上面的说法在贝叶斯派里面不再成立,这是因为贝叶斯派认为 参数也是随机变量,学习也可以看成是推断, 二者没有明显区别。 不过我们仍然可以进行区分。参数和隐变量的主要区别在于它们的数量的 增长情况不同。一般情况下,一个观测变量会有几个隐变量,隐变量的数量会 随着训练集的增加而显著增加。与此相对的是参数的数量不随着 训练集的变化而变化。 从数量的角度考虑,由于参数的数量相对较少, 我们可以对其进行点估计,或者求后验分布。相反的,由于数量的过多的 原因必须把隐变量积分掉以避免过拟合的出现。

最后,以上说法总是一般的情况,有时候参数和隐变量是相对的。例如在主题模型里面,文档级别参数θ在文档 里面是参数,而在整个文档集里又可以看作隐变量。不过对的计算需要整个文档集,不能对其进行点估计,因此计算的过程看作是推断更符合一般的 思维。

转载于:https://www.cnblogs.com/lijiankou/p/3355129.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值