2016年10月__Kevin_Duan_

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创机器学习笔记(十八)——HMM的参数估计

一、HMM中的第三个基本问题参数估计问题：给定一个观察序列O=O1O2…OTO=O_1O_2\dots O_T，如何调节模型μ=(A,B,π)\mu = (A, B, \pi)的参数，使得P(O|μ)P(O|\mu)最大化： argmaxμP(Otraining|μ) arg \max_{\mu} P(O_{training}|\mu) 模型的参数是指构成μ\mu的πi,aij,bj(

2016-10-29 12:03:21 9588

原创机器学习笔记（十七）——EM算法的推导

一、Jensen 不等式在EM算法的推导过程中，用到了数学上的Jensen不等式，这里先来介绍一下。若Ω是有限集合{x1,x2,…,xn}" role="presentation" style="position: relative;">{x1,x2,…,xn}{x1,x2,…,xn}\{x_1,x_2,\ldots,x_n\}，而μ是Ω上的正规计数测度，则不等式的一

2016-10-22 12:45:00 3455

原创机器学习笔记(十六)——EM算法概述

一、引言按照计划，这周应该学习HMM中的第三个基本问题：参数估计问题，但是其中的内容涉及到了EM算法，所以打算先把EM算法搞定之后再去继续HMM的问题。EM算法的推导过程比较复杂，这节我只给出简述和计算公式，待推导完成后再贴上推导过程。二、一个实例例1 （三硬币模型）假设有3枚硬币，分别记为A,B,CA,B,C。这些硬币正面出现的概率分别是π,p,q\pi, p,q。进行如下掷硬币试验：先

2016-10-16 12:28:25 1812

原创机器学习笔记（十五）——HMM序列问题和维特比算法

一、引言这篇blog主要讲序列问题和其解法——维特比算法。二、HMM中的第二个基本问题序列问题：给定一个观察序列O=O1O2…OTO=O_1O_2\dots O_T和模型u=(A,B,π)u=(\boldsymbol{A,B,\pi})，如何快速有效地选择在一定意义下”最优”的状态序列Q=q1q2…qTQ=q_1q_2\dots q_T,使得该状态序列“最好地解释”观察序列？三、定义最优状态

2016-10-03 11:12:12 2400