机器学习--概率图算法--条件随机场

最新推荐文章于 2024-02-10 11:33:33 发布
最新推荐文章于 2024-02-10 11:33:33 发布
阅读量654 收藏 2
点赞数
文章标签： rfc 维特比算法 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35733800/article/details/105800763
版权
本文深入探讨了概率无向图的概念，包括成对、局部和全局马尔科夫性，并详细介绍了条件随机场，特别是线性链条件随机场。阐述了条件随机场的参数化形式，概率计算中的前向-后向算法，以及学习问题中的迭代尺度法。此外，还讲解了Viterbi算法在预测问题中的应用。
摘要由CSDN通过智能技术生成

目录

一 概率无向图

1 概率无向图的概念（三段式描述）

1）大前提

2）小前提

3）结论

2 概率无向图的成对、局部、全局马尔科夫性

1）成对马尔可夫性（条件独立）

2）局部马尔可夫性（条件独立）

3）全局马尔可夫性（条件独立）

3 概率无向图的因子分解

1）团与最大团

2）因子分解

二 条件随机场的概念与参数化形式（重点介绍线性链条件随机场）

1 条件随机场的概念（三段式）

1）大前提

2）小前提

3）结论

2 线性链条件随机场的概念（处理标注问题）

1）大前提

2）小前提

3）结论

3 线性链条件随机场的参数化形式（条件随机场完全由特征函数与特征函数权值确定）

4 线性链条件随机场的简化形式

5 线性链条件随机场的矩阵形式

三 条件随机场的概率计算问题

1 概率计算问题描述

2 前向-后向算法

1）前向算法（对每个指标，定义前向向量，维度为m）

2）后向算法（对每个指标，定义前向向量，维度为m）

3）概率计算

四 条件随机场的学习问题

1 学习问题的描述

2 学习问题的求解算法

1）改进的迭代尺度法

五 条件随机场的预测问题

1 预测问题的描述

2 Viterbi算法（算法原理与流程）

一 概率无向图

1 概率无向图的概念（三段式描述）

1）大前提

联合概率分布p(Y)，由无向图G(V,E)表示

注意：

  • Y：表示多维随机变量
  • V：表示无向图中的结点（随机变量）
  • E：表示无向图中的边（随机变量之间的依赖关系）

2）小前提

联合概率分布p(Y)，满足成对马尔可夫性、局部马尔可夫性、全局马尔可夫性

3）结论

联合概率分布p(Y)，称为概率无向图（或者称为马尔可夫随机场/马尔可夫网络）

2 概率无向图的成对、局部、全局马尔科夫性

1）成对马尔可夫性（条件独立）

  • 设u,v是无向图G(V,E)中任意两个没有边连接的结点，其中结点u,v分别对应随机变量Y_{u},Y_{v}
  • 设O是无向图G(V,E)中除u,v外所有的结点，其中O对应随机变量Y_{o}
  • 满足：p(Y_{u},Y_{v}|Y_{O})=p(Y_{u}|Y_{O})p(Y_{v}|Y_{O}),u\neq v

2）局部马尔可夫性（条件独立）

  • 设v是无向图G(V,E)中任意一个结点，其中结点v分别对应随机变量Y_{v}
  • 设W是与v有边连接的所有的结点，其中W对应随机变量Y_{W}
  • 设O是无向图G(V,E)中除u,W外所有的结点，其中O对应随机变量Y_{O}
  • 满足：p(Y_{v},Y_{O}|Y_{W})=p(Y_{v}|Y_{W})p(Y_{O}|Y_{W})

3）全局马尔可夫性（条件独立）

  • 设节点集合A,B是在无向图G(V,E)中被节点集合C分开的任意节点集合，其中分别对应随机变量Y_{A},Y_{B},Y_{C}
  • 满足：p(Y_{A},Y_{B}|Y_{C})=p(Y_{A}|Y_{C})p(Y_{B}|Y_{C})

3 概率无向图的因子分解

1）团与最大团

  • 团：是指无向图G中V的结点子集，要求子集中任意两个结点都有边连接
  • 最大团：是指存在团C，无法添加进去任意一个结点进去

2）因子分解

第一点：因子分解的概念

概率无向图中随机变量的联合分布表示为其最大团上的随机变量的函数的乘积形式

第二点：公式

p(Y)=\frac{1}{Z}\prod_{C}\Psi _{C}(Y_{C}),Z=\sum_{Y}\prod_{C}\Psi_{C}(Y_{C})

注意：

  • Y：表示对应的随机变量
  • Z：表示规范化因子
  • C：表示最大团
  • Y_{C}：表示最大团对应的随机变量
  • \Psi：表示势函数（严格正函数）

第三点：公式的扩展

\Psi_{C}(Y_{C})=e^{-E(Y_{C})}

最低0.47元/天 解锁文章
我是疯子喽
关注
机器学习C++源码解析-条件随机场CRF_CWS算法-源码+数据
08-07
这个压缩包中的“机器学习C++源码解析-条件随机场CRF_CWS算法-源码+数据”很可能是包含了CRF模型的C++实现代码以及相关的训练和测试数据集，供开发者学习和研究使用。通过阅读和理解这些源码，你可以深入了解CRF的...
条件随机场CRF(二) 前向后向算法评估标记序列概率
weixin_33953384的博客
06-22 801
　　　　条件随机场CRF(一)从随机场到线性链条件随机场 　　　　条件随机场CRF(二) 前向后向算法评估标记序列概率 　　　　条件随机场CRF(三) 模型学习与维特比算法解码 　　　　在条件随机场CRF(一)中我们总结了CRF的模型，主要是linear-CRF的模型原理。本文就继续讨论linear-CRF需要解决的三个问题：评估，学习和解码。这三个问题和HMM是非常类似的，本文关注于第一个问题：...
知识图谱 基于CRF的命名实体识别模型
王清欢的博客
04-11 1万+
基于CRF的命名实体识别模型 条件随机场 CRF ​ 条件随机场 CRF 是在已知一组输入随机变量条件的情况下，输出另一组随机变量的条件概率分布模型；其前提是假设输出随机变量构成马尔可夫随机场；条件随机场可以应用于不同类型的标注问题，例如：单个目标的标注、序列结构的标注和图结构的标注等。 ​ 在给定训练集 xxx 和对应的标记序列 yyy ，以及多个特征函数需要学习 CRF 的模型参数 λj,uk\lambda_j,u_kλj​,uk​ 和 条件概率分布 P(y∣x)P(y|x)P(y∣x) ，条件概率和模
统计学习方法笔记（十五）条件随机场（二）
yeyustudy的博客
05-31 806
条件随机场的概率计算问题 问题描述：给定条件随机场P(Y|X)P(Y|X)P(Y|X) ，输入序列x和输出序列y，计算条件概率P(Yi=yi|x),P(Yi−1=yi−1,Yi=yi|x)P(Yi=yi|x),P(Yi−1=yi−1,Yi=yi|x)P({Y_i} = {y_i}|x),P({Y_{i - 1}} = {y_{i - 1}},{Y_i} = {y_i}|x) 以及相应的数学期望的...
Machine-Learning：第4章 条件随机场
sinat_38059712的博客
04-29 507
第4章 条件随机场本章思维导图本章内容概要马尔可夫过程隐马尔科夫算法条件随机场 （以线性链条件随机场为例） 本章思维导图 （待更新） 本章内容概要 马尔可夫过程 定义 假设一个随机过程中，tnt_ntn​ 时刻的状态xnx_nxn​的条件发布，只与其前一状态xn−1x_{n-1}xn−1​ 相关，即： P(xn∣x1,x2,...,xn−1)=P(xn∣xn−1) P(x_n|x_1,...
条件随机场的简单理解
weixin_41911765的博客
09-07 1万+
目录 什么是条件随机场 条件随机场长怎么样 如何构建特征函数 前向—后向算法 条件随机场的概率计算问题 条件随机场的预测问题 什么是条件随机场 条件随机场的定义 条件随机场总的来说就是只要满足“条件随机场”这个条件，就可以根据定义的模型去求解我们需要求解的问题，而我们时长需要解决的问题以线性的居多，所谓线性就是满足“线性链条件随机场”，本文也只涉及对“线性链条件随机场”的讲解。 ...
大白话条件随机场--从此彻底理解CRF
06-20
在"大白话条件随机场--从此彻底理解CRF"的资源中，你可能会学到以下核心知识点： 1. **概率图模型基础**：条件随机场属于概率图模型，它描述了随机变量之间的概率分布，通过图结构来表示变量间的关系。在CRF中，...
Python-TensorFlow的概率方法
08-11
在机器学习中，概率图模型（Probabilistic Graphical Models, PGMs）是一种常用的方法，用于表示变量之间的条件依赖关系。TensorFlow Probability支持多种PGM类型，如贝叶斯网络和马尔可夫随机场，这使得在模型构建...
Python-与贝叶斯机器学习方法相关的Notebooks
08-11
这个名为"Python-与贝叶斯机器学习方法相关的Notebooks"的压缩包文件很可能包含了一系列教程或项目，用于帮助用户深入理解和实践贝叶斯算法。让我们详细探讨一下这个主题。 首先，贝叶斯机器学习基于概率论中的...
机器学习算法原理-聚类算法_V3.pdf
12-18
### 机器学习算法原理——聚类算法概览 #### 一、K-means聚类算法 **1.1 K-means聚类原理** K-means是一种常用的无监督学习方法，用于将一组未标记的数据集划分为K个不同的簇(cluster)，其中每个簇由簇内的数据点...
图网络算法——概率图介绍与贝叶斯网络
hei653779919的博客
10-26 3140
图网络算法——概率图综述 1 概率论回顾 在介绍概率图之前，我们先来回顾一下概率论中的相关的知识。 样本空间(Ω)： 样本空间描述的是一个随机试验中所有可能输出的集合。比如我们随机抛了一千次硬币，那么我们就可以获得一千次的结果，这一千个结果就构成了样本空间。样本空间中的每一个结果，我们称之为一个样本点。 随机事件： 在样本空间中，某些样本点组成了一个随机事件，即随机事件是样本空间的一个子集。 随机事件之间可能存在的关系： 包含关系：即A⊂BA⊂BA⊂B，则事件A发生必然会导致事件B发生。 相等关系：即A
概率路线图(PRM)算法
人无远虑，必有近忧
05-15 6947
原理 机器人运动规划的基本任务可以描述为：从开始位置到目标位置的运动。这一任务通常涉及到两项基本问题： 如何躲避构型空间中出现的障碍物（几何路径规划） 如何满足机器人本身在机械、传感方面的速度、加速度等限制（不确定性、反馈、微分约束等） 其中，基于抽样的运动规划算法是用于解决第 1 个问题的重要方法，其核心思想为：先对机器人的单个构型进行碰撞检测，建立无碰撞构型的数据库，再对不同的构型进行采样以生成无碰撞路径。该算法的优点在于具有通用性，只需要针对不同的机器人运动规划问题进行合理的参数调整。该算法的缺
机器学习---概率图模型（概率计算问题）
最新发布
weixin_43961909的博客
02-10 1285
的方法是按概率公式直接计算.通过列举所有可能的长度为T的状态序列。然后，对所有可能的状态序列I求和，得到观测序列O的概率。，然后对所有可能的状态序列求和，得。，O和I同时出现的联合概率为。，计算观测序列O出现的概率。态序列 I 与观测序列。阶的，这种算法不可行。
团、极大团、最大团
wangprince2017
08-21 1700
Bron-Kerbosch算法视频介绍极大团介绍团、极大团介绍 团(clique) 引自wiki： a clique is a subset of vertices of an undirected graph such that every two distinct vertices in the clique are adjacent. 意思就是团(clique)就是一个无向图的完全子图，既然是完全图，当然每对顶点之间都必须要有边相连。 团：无向图的完全子图。 完全图：完全图是一个简单的无向..
CRF条件随机场
m0_67084346的博客
12-02 601
CRF条件随机场
概率图模型笔记（一）开坑
Kaiyuan_sjtu的博客
03-27 1001
写在前面 其实接触概率图模型也有一段时间了，从开始入坑NLP起，也陆陆续续看了很多关于图模型这方面的论文、博客和教程等，但是总是不能形成一个完整的体系，所以这次就下决心花点时间好好去整理复习一下。网上的资料很多，但是那都是别人的，最重要的还是要学会整理融合成自己的知识。 今天这篇blog主要就介绍一下图模型的基础知识，后面陆续会整理HMM, CRF等比较常见常用的概率图模型。 “概率论只不过是把常...
条件随机场_统计学习方法_学习笔记
03-03 1906
前言 书中最后一章----条件随机场（Conditional Random Field，CRF）是目前为止学习到的比较抽象的一个模型了。网络上许多关于书中的此部分内容的博客、学习资源等都是照本宣科，因此学习这部分内容耗费了不少的精力。接下来结合我个人的理解来谈谈条件随机场。 因为符号较多，务必清楚每个符号代表的确切含义。 目录 1 一个例子 2 条件随机场原理 2.1 概率无向图模型（马...
条件随机场（CRF）
热门推荐
雪伦的专栏
12-28 4万+
条件随机场应该是机器学习领域比较难的一个算法模型了，难点在于其定义之多（涉及到概率图模型、团等概率）、数学上近似完美（涉及到概率、期望计算，最优化方面的知识），但是其在自然语言处理方面应用效果比较好，所以本文结合李航老师的《统计学习方法》学习一下。1.定义1.1 图　　图是由结点和连接结点的边组成的集合。结点和边分别记作v和e，结点和边的集合分别记作V和E，图记作G=（V，E）。无向图是指边没有方向
条件随机场(CRF) - 3 - 概率计算问题
xueyingxue001的专栏
05-25 5905
声明：          1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。          2，由于本人在学习初始时有很多数学知识都已忘记，所以为了弄懂其中的内容查阅了很多资料，所以里面应该会有引用其他帖子的小部分内容，如果原作者看到可以私信我，我会将您的帖子的地址付到下面。          3，如果有内容错误或不
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值