关注
分享
文章平均质量分 91
概率图模型PGM：
概率论基础
贝叶斯网的表示、推理和参数估计
马尔可夫网的表示、推理和参数估计
部分有向模型、条件随机场
基于plate的表示
含有不完备数据或隐含变量的参数估计
行为与决策
概率图模型原理与技术 Daphne Koller
-柚子皮-
╰☆ゞ不染纤尘，不忘初心ゞ☆╮
展开
-
对数线性模型：逻辑斯谛回归和最大熵模型
http://blog.csdn.net/pipisorry/article/details/52788947对数线性模型log linear model对数线性模型有：最大熵模型和逻辑斯谛回归。特征和指示特征对数线性模型的一般形式[概率图模型原理与技术]某小皮对数线性模型的不同形式因子图将因子转换到对数空间，成为对数线性模型。...原创 2016-10-11 16:17:51 · 4531 阅读 · 0 评论 -
条件随机场CRF - 学习和预测
CRF的学习即CRF的参数估计问题。条件随机场模型实际上是定义在时序数据上的对数线性模型（LR模型同样是），其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。改进的迭代尺度法(IIS) 已知训练数据集，由此可知经验概率分布 ，可以通过极大化训练数据的对数似然函数来求模型参数。 训练数据的对数似然函原创 2017-10-30 21:27:08 · 5823 阅读 · 1 评论 -
HMM：隐马尔科夫模型 - 学习
http://blog.csdn.net/pipisorry/article/details/50722376隐马尔科夫模型的三个问题例子举个常见的例子来引出下文，同时方便大家理解！比如我在不同天气状态下去做一些事情的概率不同，天气状态集合为{下雨，阴天，晴天}，事情集合为{宅着，自习，游玩}。假如我们已经有了转移概率和输出概率，即P(天气A|天气B)和P(事情a|天气A)的概率都已知...原创 2016-02-23 13:22:50 · 4441 阅读 · 1 评论 -
条件随机场CRF - 表示
http://blog.csdn.net/pipisorry/article/details/78397543CRF简介HMM的局限性 1，该模型定义的是联合概率，必须列举所有观察序列的可能值，而这对多数领域来说是比较困难的。 2，基于观察序列中的每个元素都相互条件独立。即：在任何时刻观察值仅仅与状态序列中的一个状态有关。而大多数现实世界中的真是观察...原创 2017-10-30 21:25:01 · 6401 阅读 · 1 评论 -
HMM：隐马尔可夫模型 - 表示
http://blog.csdn.net/pipisorry/article/details/50722178隐马尔可夫模型Hidden Markov Models 隐马尔可夫模型（Hidden Markov Models, HMM）描述由一个隐藏的马尔可夫链随机生成的不可观测的状态序列，再由各个状态生成一个观测而产生观测随机序列的过程，属于生成模型。HMM(隐马尔可夫模型)...原创 2016-02-23 12:37:53 · 26106 阅读 · 0 评论 -
HMM：隐马尔科夫模型 - 预测和解码
http://blog.csdn.net/pipisorry/article/details/50731584观察序列生成计算观察序列的概率（Finding the probability of an observed sequence） 给定隐马尔科夫模型，也就是在模型参数（pi, A, B)已知的情况下，我们想找到观察序列的概率。还是考虑天气这个例子，我们有一个用来描述天气及与它...原创 2016-02-24 16:09:28 · 5189 阅读 · 0 评论 -
马尔科夫模型 Markov Model
http://blog.csdn.net/pipisorry/article/details/46618991生成模式（Generating Patterns）1、确定性模式（Deterministic Patterns）：确定性系统 考虑一套交通信号灯，灯的颜色变化序列依次是红色-红色/黄色-绿色-黄色-红色。这个序列可以作为一个状态机器，交通信号灯的不同状态都紧跟着上一个状态。...原创 2015-06-24 10:34:20 · 118563 阅读 · 3 评论 -
随机采样和随机模拟：吉布斯采样Gibbs Sampling
http://blog.csdn.net/pipisorry/article/details/51373090吉布斯采样算法详解为什么要用吉布斯采样什么是sampling?sampling就是以一定的概率分布，看发生什么事件。举一个例子。甲只能E：吃饭、学习、打球，时间T：上午、下午、晚上，天气W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗。...原创 2016-05-12 00:24:21 · 107533 阅读 · 27 评论 -
随机采样和随机模拟：吉布斯采样Gibbs Sampling实现文档分类
http://blog.csdn.net/pipisorry/article/details/51525308吉布斯采样的实现问题本文主要说明如何通过吉布斯采样进行文档分类（聚类），当然更复杂的实现可以看看吉布斯采样是如何采样LDA主题分布的[主题模型TopicModel：隐含狄利克雷分布LDA]。关于吉布斯采样的介绍文章都停止在吉布斯采样的详细描述上，如随机采样和随机原创 2016-05-29 21:23:59 · 20670 阅读 · 0 评论 -
随机采样和随机模拟：吉布斯采样Gibbs Sampling实现高斯分布参数推断
http://blog.csdn.net/pipisorry/article/details/51539739吉布斯采样的实现问题本文主要说明如何通过吉布斯采样来采样截断多维高斯分布的参数（已知一堆截断高斯分布的数据，推断其参数( μ , Σ )）。关于吉布斯采样的介绍文章都停止在吉布斯采样的详细描述上，如随机采样和随机模拟：吉布斯采样Gibbs Sampling(why)原创 2016-05-30 20:08:51 · 11788 阅读 · 3 评论 -
PGM：概率论基础知识
http://blog.csdn.net/pipisorry/article/details/52459847概率图模型PGM：概率论基础知识独立性与条件独立性独立性条件独立性也就是表示给定 c 的条件下 a 与 b 条件独立,等价于公式p(a | b, c) = p(a | c)随机变量的独立性 等价于 条件独立性的性质这里是前面的独立性可以导出后面的独立性，而不是等价于后面的独立性。条件独立的原创 2016-09-07 15:20:48 · 2120 阅读 · 0 评论 -
PGM：贝叶斯网表示之朴素贝叶斯模型naive Bayes
http://blog.csdn.net/pipisorry/article/details/52469064独立性质的利用条件参数化和条件独立性假设被结合在一起，目的是对高维概率分布产生非常紧凑的表示。随机变量的独立性[PGM：概率论基础知识 ：独立性性质的利用]条件参数化方法Note: P(I), P(S | i0), P(S | i1)都是二项式分布，都原创 2016-09-08 11:06:01 · 4898 阅读 · 2 评论 -
PGM：有向图模型：贝叶斯网络
http://blog.csdn.net/pipisorry/article/details/52489270为什么用贝叶斯网络联合分布的显式表示Note: n个变量的联合分布，每个x对应两个值，共n个x，且所有概率总和为1，则联合分布需要2^n-1个参数。贝叶斯网表示独立性质的应用会降低参数数目，表达更紧凑。[PGM：贝叶斯网表示之朴素贝叶斯模型naive Bayes原创 2016-09-09 17:26:10 · 27975 阅读 · 0 评论 -
PGM：无向图模型：马尔可夫网（随机场）MRF
http://blog.csdn.net/pipisorry/article/details/52489321马尔可夫网皮皮blog无向图模型误解示例P-map不能构建贝叶斯网的一个示例x1表示这个学生对概念存在误解，x0表示没有。Note: 其中的bd其实只要给定c就是相互依赖了。[PGM：贝叶斯网络 ]误解示例的无向图模型解决原创 2016-09-12 22:27:54 · 13545 阅读 · 3 评论 -
图论
http://blog.csdn.net/pipisorry/article/details/52518118最大团给定无向图G=(V,E)，其中V是非空集合，称为顶点集；E是V中元素构成的无序二元组的集合，称为边集，无向图中的边均是顶点的无序对，无序对常用圆括号“( )”表示。完全子图complete subgraph如果U∈V，且对任意两个顶点u，v∈U有(u,v)∈E，则称U是G的完全子图。原创 2016-09-12 22:28:03 · 2692 阅读 · 0 评论 -
PGM：部分有向模型之条件随机场与链图模型
http://blog.csdn.net/pipisorry/article/details/52529287贝叶斯网与马尔可夫网[PGM：无向图模型：马尔可夫网 ]中例3.8和例4.8显示，贝叶斯网和马尔可夫网这两种表示独立性的语言没有可比性：每种表示都能表示另一种不能表示的独立性约束。这里更深入讨论两种表示间的联系。从贝叶斯网到到马尔可夫网d-分离的可靠性原创 2016-09-14 11:14:59 · 3622 阅读 · 0 评论 -
PGM：基于模板的表示
http://blog.csdn.net/pipisorry/article/details/52537660引言概率图模型（无论贝叶斯网或马尔可夫网）在一个固定的随机变量集X上具体指定了一个联合概率分布。然后这个固定的分布可以在很多不同的情况下使用。基于变量的模型更加复杂的空间皮皮blog时序模型基本假设动态贝叶斯状态-观测模型 隐马尔可夫模型 线性动态系统皮皮blog模板变量与模板因子皮皮bl原创 2016-09-18 09:29:01 · 2248 阅读 · 0 评论 -
PGM：图模型学习概述
http://blog.csdn.net/pipisorry/article/details/52571640动机前面我们讨论的问题出发点是给定一个图模型。如在独立性和推理讨论中，假定模型——结构及参数——是输入的一部分。查询一个模型的方法手工搭建网络利用一组从希望建模的那个分布中生成的样本来学习相对于总体的分布模型模型学习皮皮blog这里首先描述学习模型时的目标集合和由这些目标所导致的不同评价指原创 2016-09-18 11:31:52 · 2976 阅读 · 0 评论 -
PGM：贝叶斯网的参数估计
http://blog.csdn.net/pipisorry/article/details/52578631本文讨论贝叶斯网的参数估计问题：贝叶斯网的MLE最大似然估计和贝叶斯估计。假定网络结构是固定的，且假定数据集D包含了网络变量的完全观测实例。参数估计的主要方法有两种：一种基于最大的似然的估计；一种是使用贝叶斯方法。贝叶斯网的MLE参数估计最大似然估计MLE[参数估计：最大似然估计MLE原创 2016-09-20 16:22:21 · 5561 阅读 · 3 评论 -
PGM：贝叶斯网的参数估计2
http://blog.csdn.net/pipisorry/article/details/52599321没时间看了，下次再看。。。具有共享参数的学习模型全局参数共享局部参数共享具有 共享参数的贝叶斯推断层次先验*皮皮blog专栏17.E 文本分类的词袋模型伯努利朴素贝叶斯模型和多项式朴素贝叶斯模型隐含狄利克雷分布LDA皮皮blog泛化分析*渐近性分析PAC界皮皮blogfrom: http:原创 2016-09-20 20:00:16 · 1903 阅读 · 0 评论 -
PGM：部分观测数据
http://blog.csdn.net/pipisorry/article/details/52599451基础知识数据缺失的三种情形：数据的似然和观测模型Note: MLE中是将联合概率P(x,y)赋值给实例。缺失数据的处理：不仅考虑数据产生机制，还要考虑数据被隐藏的机制随机缺失值：主要是修改投掷结果X（随机变量）吧？蓄意缺失值：主要是修改观测变量O吧？随机变量X、观测变量O和实际观测YNot原创 2016-09-22 20:19:57 · 2658 阅读 · 1 评论 -
PGM：不完备数据的参数估计
http://blog.csdn.net/pipisorry/article/details/52626889使用不完备数据的贝叶斯学习：MLE估计（梯度上升和EM算法）、贝叶斯估计。参数估计与处理完备数据的类似，有两种估计方法：最大似然估计MLE和贝叶斯估计。使用不完备数据的最大似然估计MLE梯度上升方法{优化似然函数算法1}计算梯度先考虑相对于一个单一CPD的表值P(x|u)的导数（一个数据的原创 2016-09-22 20:24:06 · 2603 阅读 · 0 评论 -
PGM：概率图模型Graphical Model
http://blog.csdn.net/pipisorry/article/details/51461878概率图模型Graphical Models简介完全通过代数计算来对更加复杂的模型进行建模和求解。然而,我们会发现,使用概率分布的图形表示进行分析很有好处。这种概率分布的图形表示被称为概率图模型( probabilistic graphical models )。这些模型提供了几个有用的性质原创 2016-05-21 16:57:42 · 25122 阅读 · 0 评论 -
参数估计：最大似然估计MLE
http://blog.csdn.net/pipisorry/article/details/51461997最大似然估计MLE顾名思义，当然是要找到一个参数，使得L最大，为什么要使得它最大呢，因为X都发生了，即基于一个参数发生的，那么当然就得使得它发生的概率最大。最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可以写做相乘因为它们之间是独立同分布的。由于有连乘运算，通常对似然原创 2016-05-21 16:57:50 · 46451 阅读 · 0 评论 -
参数估计：贝叶斯思想和贝叶斯参数估计
http://blog.csdn.net/pipisorry/article/details/51471222贝叶斯与频率派思想频率派思想 长久以来，人们对一件事情发生或不发生，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且事情发生或不发生的概率虽然未知，但最起码是一个确定的值。比如如果问那时的人们一个问题：“有一个袋子，里面装着原创 2016-05-23 10:54:29 · 60880 阅读 · 7 评论 -
参数估计：文本分析的参数估计方法
http://blog.csdn.net/pipisorry/article/details/51482120文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。参数估计参数估计中，我们会遇到两个主要问题：（1）如何去估计参数的value。（2）估计出参数的value之后，如何去计算新的observation的概率，即进行回归分析和预测。首先定义一些符号：数据集X中原创 2016-05-23 17:36:47 · 15843 阅读 · 2 评论