隐马尔科夫模型前向后向算法

本文是自己学习隐马尔科夫模型的一个总结,为了自己以后方便查阅,也算作是李航老师的《统计学习方法》的一个总结,若有疑问,欢迎讨论。推荐阅读知乎上Yang Eninala写的《如何用简单易懂的例子解释隐马尔可夫模型?》,写的非常好。我会联系两者,来作为自己的一篇学习笔记。隐马尔可夫模型: 隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个...
阅读(149) 评论(0)

一文总结条件熵、交叉熵、相对熵、互信息

条件熵:H(Y|X)表示在已知随机变量X的条件下,随机变量Y的不确定性,H(Y|X)定义为:举个例子:有一堆西瓜,已知这堆西瓜的色泽,以及每种色泽对应好瓜和坏瓜的个数,如下所示,设X表示色泽,Y表示好瓜或者坏瓜。则:这个例子就是计算条件熵的一个过程,现在证明条件熵公式:有很多书上的条件熵是这么定义的,如果继续化简就可以得到我们上面定义的条件熵,接着化简:得证!信息增益:,表示X出现后随机变量Y的不...
阅读(215) 评论(0)

彻底理解样本方差为何除以n-1

设样本均值为,样本方差为,总体均值为,总体方差为,那么样本方差有如下公式:    很多人可能都会有疑问,为什么要除以n-1,而不是n,但是翻阅资料,发现很多都是交代到,如果除以n,对样本方差的估计不是无偏估计,比总体方差要小,要想是无偏估计就要调小分母,所以除以n-1,那么问题来了,为什么不是除以n-2、n-3等等。所以在这里彻底总结一下,首先交代一下无偏估计。无偏估计    以例子来说明,假如你...
阅读(335) 评论(0)

如何理解用信息熵来表示最短的平均编码长度

之前弄明白了信息熵是什么,由于信息熵来源于信息论,要怎么才能跟编码联系起来呢?这个问题当时没有想明白,今天查了一下资料,理解了一下,做笔记整理一下,如有错误欢迎指正。如果信息熵不明白的请看这里:http://blog.csdn.net/hearthougan/article/details/76192381首先给出结果:最短的平均编码长度 = 信源的不确定程度 / 传输的表达能力。其中信源的不确定...
阅读(145) 评论(0)
    个人资料
    • 访问:283010次
    • 积分:7325
    • 等级:
    • 排名:第3352名
    • 原创:471篇
    • 转载:19篇
    • 译文:0篇
    • 评论:19条