当前搜索:

条件随机场CRF - 学习和预测

CRF的学习即CRF的参数估计问题。条件随机场模型实际上是定义在时序数据上的对数线性模型(LR模型同样是),其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。改进的迭代尺度法(IIS)         已知训练数据集,由此可知经验概率分布  ,可以通过极大化训练数据的对数似然函数来求模型参数。         训练数据的对数似然函...
阅读(209) 评论(0)

条件随机场CRF - 表示

CRF简介HMM的局限性         1,该模型定义的是联合概率,必须列举所有观察序列的可能值,而这对多数领域来说是比较困难的。         2,基于观察序列中的每个元素都相互条件独立。即:在任何时刻观察值仅仅与状态序列中的一个状态有关。而大多数现实世界中的真是观察序列是有多个相互作用的特征和观察序列中较长范围内的元素之间的依赖而形成的。 条件随机场就解决了第二个局限性。词性标注问题示例假...
阅读(307) 评论(0)

对数线性模型:逻辑斯谛回归和最大熵模型

http://blog.csdn.net/pipisorry/article/details/52788947对数线性模型log linear model对数线性模型有:最大熵模型和逻辑斯谛回归。特征和指示特征对数线性模型的一般形式[概率图模型原理与技术]某小皮对数线性模型的不同形式因子图将因子转换到对数空间,成为对数线性模型。[PGM:无向图模型:马尔可夫网...
阅读(1086) 评论(0)

PGM:不完备数据的参数估计

http://blog.csdn.net/pipisorry/article/details/52626889使用不完备数据的贝叶斯学习:MLE估计(梯度上升和EM算法)、贝叶斯估计。参数估计与处理完备数据的类似,有两种估计方法:最大似然估计MLE和贝叶斯估计。使用不完备数据的最大似然估计MLE梯度上升方法{优化似然函数算法1}计算梯度先考虑相对于一个单一CPD的表值P(x|u)的导数(一个数据的...
阅读(1202) 评论(0)

PGM:部分观测数据

http://blog.csdn.net/pipisorry/article/details/52599451基础知识数据缺失的三种情形:数据的似然和观测模型Note: MLE中是将联合概率P(x,y)赋值给实例。缺失数据的处理:不仅考虑数据产生机制,还要考虑数据被隐藏的机制随机缺失值:主要是修改投掷结果X(随机变量)吧?蓄意缺失值:主要是修改观测变量O吧?随机变量X、观测变量O和实际观测YNot...
阅读(1659) 评论(0)

PGM:贝叶斯网的参数估计2

http://blog.csdn.net/pipisorry/article/details/52599321没时间看了,下次再看。。。具有共享参数的学习模型全局参数共享局部参数共享具有 共享参数的贝叶斯推断层次先验*皮皮blog专栏17.E 文本分类的词袋模型伯努利朴素贝叶斯模型和多项式朴素贝叶斯模型隐含狄利克雷分布LDA皮皮blog泛化分析*渐近性分析PAC界皮皮blogfrom: http:...
阅读(1331) 评论(0)

PGM:贝叶斯网的参数估计

http://blog.csdn.net/pipisorry/article/details/52578631本文讨论贝叶斯网的参数估计问题:贝叶斯网的MLE最大似然估计和贝叶斯估计。假定网络结构是固定的,且假定数据集D包含了网络变量的完全观测实例。参数估计的主要方法有两种:一种基于最大的似然的估计;一种是使用贝叶斯方法。贝叶斯网的MLE参数估计最大似然估计MLE[参数估计:最大似然估计MLE...
阅读(2197) 评论(3)

PGM:图模型学习概述

http://blog.csdn.net/pipisorry/article/details/52571640动机前面我们讨论的问题出发点是给定一个图模型。如在独立性和推理讨论中,假定模型——结构及参数——是输入的一部分。查询一个模型的方法手工搭建网络利用一组从希望建模的那个分布中生成的样本来学习相对于总体的分布模型模型学习皮皮blog这里首先描述学习模型时的目标集合和由这些目标所导致的不同评价指...
阅读(1544) 评论(0)

PGM:基于模板的表示

http://blog.csdn.net/pipisorry/article/details/52537660引言概率图模型(无论贝叶斯网或马尔可夫网)在一个固定的随机变量集X上具体指定了一个联合概率分布。然后这个固定的分布可以在很多不同的情况下使用。基于变量的模型更加复杂的空间皮皮blog时序模型基本假设动态贝叶斯状态-观测模型 隐马尔可夫模型 线性动态系统皮皮blog模板变量与模板因子皮皮bl...
阅读(1566) 评论(0)

PGM:部分有向模型之条件随机场与链图模型

http://blog.csdn.net/pipisorry/article/details/52529287贝叶斯网与马尔可夫网[PGM:无向图模型:马尔可夫网 ]中例3.8和例4.8显示,贝叶斯网和马尔可夫网这两种表示独立性的语言没有可比性:每种表示都能表示另一种不能表示的独立性约束。这里更深入讨论两种表示间的联系。从贝叶斯网到到马尔可夫网d-分离的可靠性...
阅读(1760) 评论(0)

图论

http://blog.csdn.net/pipisorry/article/details/52518118最大团给定无向图G=(V,E),其中V是非空集合,称为顶点集;E是V中元素构成的无序二元组的集合,称为边集,无向图中的边均是顶点的无序对,无序对常用圆括号“( )”表示。完全子图complete subgraph如果U∈V,且对任意两个顶点u,v∈U有(u,v)∈E,则称U是G的完全子图。...
阅读(1128) 评论(0)

PGM:无向图模型:马尔可夫网(随机场)MRF

http://blog.csdn.net/pipisorry/article/details/52489321马尔可夫网皮皮blog无向图模型误解示例P-map不能构建贝叶斯网的一个示例x1表示这个学生对概念存在误解,x0表示没有。Note: 其中的bd其实只要给定c就是相互依赖了。[PGM:贝叶斯网络 ]误解示例的无向图模型解决...
阅读(4502) 评论(1)

PGM:有向图模型:贝叶斯网络

http://blog.csdn.net/pipisorry/article/details/52489270为什么用贝叶斯网络联合分布的显式表示Note: n个变量的联合分布,每个x对应两个值,共n个x,且所有概率总和为1,则联合分布需要2^n-1个参数。贝叶斯网表示独立性质的应用会降低参数数目,表达更紧凑。[PGM:贝叶斯网表示之朴素贝叶斯模型naive Bayes...
阅读(6232) 评论(0)

PGM:贝叶斯网表示之朴素贝叶斯模型naive Bayes

http://blog.csdn.net/pipisorry/article/details/52469064独立性质的利用条件参数化和条件独立性假设被结合在一起,目的是对高维概率分布产生非常紧凑的表示。随机变量的独立性[PGM:概率论基础知识 :独立性性质的利用]条件参数化方法Note: P(I), P(S | i0), P(S | i1)都是二项式分布,都...
阅读(2853) 评论(2)

PGM:概率论基础知识

http://blog.csdn.net/pipisorry/article/details/52459847概率图模型PGM:概率论基础知识独立性与条件独立性独立性条件独立性也就是表示给定 c 的条件下 a 与 b 条件独立,等价于公式p(a | b, c) = p(a | c)随机变量的独立性 等价于 条件独立性的性质这里是前面的独立性可以导出后面的独立性,而不是等价于后面的独立性。条件独立的...
阅读(1233) 评论(0)

随机采样和随机模拟:吉布斯采样Gibbs Sampling实现高斯分布参数推断

http://blog.csdn.net/pipisorry/article/details/51539739 吉布斯采样的实现问题 本文主要说明如何通过吉布斯采样来采样截断多维高斯分布的参数(已知一堆截断高斯分布的数据,推断其参数( μ , Σ ))。 关于吉布斯采样的介绍文章都停止在吉布斯采样的详细描述上,如随机采样和随机模拟:吉布斯采样Gibbs Sampling(why)...
阅读(3599) 评论(0)

随机采样和随机模拟:吉布斯采样Gibbs Sampling实现文档分类

http://blog.csdn.net/pipisorry/article/details/51525308 吉布斯采样的实现问题 本文主要说明如何通过吉布斯采样进行文档分类(聚类),当然更复杂的实现可以看看吉布斯采样是如何采样LDA主题分布的[主题模型TopicModel:隐含狄利克雷分布LDA ]。 关于吉布斯采样的介绍文章都停止在吉布斯采样的详细描述上,如随机采样和随机...
阅读(11425) 评论(0)

参数估计:文本分析的参数估计方法

http://blog.csdn.net/pipisorry/article/details/51482120文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。参数估计参数估计中,我们会遇到两个主要问题:(1)如何去估计参数的value。(2)估计出参数的value之后,如何去计算新的observation的概率,即进行回归分析和预测。首先定义一些符号:数据集X中...
阅读(11940) 评论(2)

参数估计:贝叶斯思想和贝叶斯参数估计

http://blog.csdn.net/pipisorry/article/details/51471222贝叶斯与频率派思想频率派思想    长久以来,人们对一件事情发生或不发生,只有固定的0和1,即要么发生,要么不发生,从来不会去考虑某件事情发生的概率有多大,不发生的概率又是多大。而且事情发生或不发生的概率虽然未知,但最起码是一个确定的值。比如如果问那时的人们一个问题:“有一个袋子,里面装着...
阅读(24676) 评论(2)

参数估计:最大似然估计MLE

http://blog.csdn.net/pipisorry/article/details/51461997最大似然估计MLE顾名思义,当然是要找到一个参数,使得L最大,为什么要使得它最大呢,因为X都发生了,即基于一个参数发生的,那么当然就得使得它发生的概率最大。最大似然估计就是要用似然函数取到最大值时的参数值作为估计值,似然函数可以写做相乘因为它们之间是独立同分布的。由于有连乘运算,通常对似然...
阅读(12358) 评论(0)
23条 共2页1 2 下一页 尾页
    个人资料
    • 访问:3122499次
    • 积分:28222
    • 等级:
    • 排名:第212名
    • 原创:557篇
    • 转载:30篇
    • 译文:5篇
    • 评论:280条
    Welcome to 皮皮blog~

    博客专栏
    最新评论