http://blog.csdn.net/pipisorry/article/details/52599451
基础知识
数据缺失的三种情形:
数据的似然和观测模型
Note: MLE中是将联合概率P(x,y)赋值给实例。
缺失数据的处理:不仅考虑数据产生机制,还要考虑数据被隐藏的机制
随机缺失值:主要是修改投掷结果X(随机变量)吧?
蓄意缺失值:主要是修改观测变量O吧?
随机变量X、观测变量O和实际观测Y
Note: Y是定义的X和O的一个确定函数,不在plate图中显示出来。
图钉变体示例的观测模型
随机缺失:分别最大化似然和观测
上下文特定独立性
蓄意缺失:投掷结果随机变量和蓄意抛弃共同的结果
观测机制的解耦
解耦的含义就是我们可以最大化X的分布的参数的似然,而不用考虑控制Ox分布的参数的值。通常,我们只对前面的参数感兴趣,所以可以简单的忽略后面的参数。
例19.1
完全随机缺失MCAR
随机缺失MAR的条件独立性参数解耦
Note: 第一枚硬币Ox1总是能观察到的,其概率为1。
缺失数据模型Pmissing:事件层面上的MAR条件独立假设
一句话:这个假设就是给定Xobs时,事件Ox和Xhidden独立。也就是说,隐不隐藏和是不是人为改变观测变量O无关?
MAR假设允许学习参数时忽略观测模型
如果Pmissing满足上面的假设则:(xobs和o的联合分布)
MAR假设下的定理
MAR适用场合
似然函数
缺失数据的似然函数表示
似然函数学习的示例
完备数据的似然
不完备数据似然的计算:考虑缺失数据的所有情况,并将其对应的似然相加。而可能赋值的数目是缺失值总量的指数。
不完备数据的多峰似然函数
几何分析:失去参数独立性质,因此也失去了似然函数可分解的性质。
图模型定性分析
数值分析
这个也可以从图19.4看出,当X缺失时,观测到Y,这样Y的两个参数父节点就是相关的?
这个例子说明,在估计CPD P(Y|X)时,我们已经缺失了局部可分解性。
不同CPD间的全局可分解性
Note: 如果是完备数据,这里应该求解的是P(x, y, h)的联合概率分布,没有和式,只有三者(三个局部似然函数)乘积。而存在隐含变量时,应该使用和式将隐含变量积掉。
一般的情况示例
在下面的参数估计中再解决这个不完备数据的参数推断。
可识别性
。。。
使用不完备数据的最大似然估计MLE
使用不完备数据的贝叶斯学习
结构学习
结构得分
结构搜索
结构EM
带有隐变量的学习模型
隐变量的信息内容
确定基数
引入隐变量
from: http://blog.csdn.net/pipisorry/article/details/52599451
ref: