- 博客(4)
- 收藏
- 关注
RSS订阅原创 HMM
什么是隐马尔可夫模型？是生成式模型，表示状态序列和观察序列的联合分布P(S,O)，可以描述隐藏的马尔科夫链生成观测序列的过程，是关于时序的概率模型。O是观察状态序列，S是隐藏状态序列。 P(S,O)的推导： 这个式子是对HMM三个问题中，求序列概率的表达，给出了计算P(S,O)的公式，由前向/后向算法解决。HMM序列标注问题中P(S|O)推导： 即表达了HMM中已知观察序列求解最...
2018-08-05 16:21:49
1577
原创 CRF
一般条件随机场的定义：条件随机场是给定一组输入随机变量条件下，另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场（概率无向图模型）。什么是概率无向图？符合成对马尔科夫性（局部，全局）的联合概率分布就是概率无向图模型。即一个节点时间概率只依赖于相邻的节点。条件随机场数学表示：设X、Y是随机变量，P(Y|X)是在给定X的条件下Y的条件概率分布，若Y构成马尔科夫随机...
2018-08-05 15:22:30
493
原创 Maximum Entropy Markov Model
最大熵马尔科夫模型，抛开原理不谈，在序列标注任务中，类比HMM用viterbi对序列标注解码，MEMM只是取P(s_t+1=state_i|o_t+1,s_t)作为当前节点s_t+1作为state_i的概率，而这个概率是最大熵模型分类给出的作为类别state_i的概率，所以实现上HMM和MEMM星币，只不过是序列前向转移的时候，当前P(s_t+1=state_i|o_t+1,s_t)的计算方式不一...
2018-08-05 14:29:17
385
原创 最大熵模型
最大熵是模型学习的一个准则，将其推广到分类问题就是最大熵模型。基于最大熵原理的分类器是以最大化事件概率的熵值下，求出对应的分布参数值，即最大熵模型的目标函数是模型概率熵。为什么最大化熵值能够得到一个可行的分类模型？最大熵描述的是这样一个自然事实，即基于当前已知前提下，也就是约束下，未知事件的概率尽可能的相互接近最符合事物的自然规律。同事最大熵给出了量化这个规律的式子，即信息熵。所以基于最大熵的最...
2018-08-05 13:52:40
1474
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人