Task4条件随机场CRF

最新推荐文章于 2024-05-29 10:05:41 发布
最新推荐文章于 2024-05-29 10:05:41 发布
阅读量402 收藏
点赞数 1
分类专栏： Datawhale学习 文章标签： 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xiaobai_rabbit0/article/details/105804779
版权

Task4条件随机场CRF

条件随机场概述

条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上,提出的一种判别式概率无向图学习模型,是一种用于标注和切分有序数据的条件概率模型。

CRF最早是针对序列数据分析提出的,现已成功应用于自然语言处理(Natural Language Processing, NLP)、 生物信息学、机器视觉及网络智能等领域。
与条件随机场相关的各模型之间的关系
在这里插入图片描述

1 产生式模型和判别式模型( Generative model vs Discriminative model )

1.1 模型简介

假设有两个序列，分别为观察序列o和标记序列s

  • 产生式模型：构建o和s的联合分布p(s,o)，可以根据联合概率来生成样本，如HMM，BNs，MRF。

  • 无穷样本->概率密度模型=产生模型->预测

  • 判别式模型：构建o和s的条件分布p(s|o)，因为没有s的知识，无法生成样本，只能判断分类，如SVM，CRF，MEMM。

  • 有限样本->判别函数=预测模型->预测

1.2 模型比较

Generative model :从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度,不关心判别边界。

  • 优点:
    实际上带的信息要比判别模型丰富,研究单类问题比判别模型灵活性强能更充分的利用先验知识
    模型可以通过增量学习得到
  • 缺点:
    学习过程比较复杂
    在目标分类问题中易产生较大的错误率

Discriminative model :寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。

  • 优点:
    分类边界更灵活,比使用纯概率方法或生产模型得到的更高级。能清晰的分辨出多类或某一类与其他类之间的差异特征。在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好适用于较多类别的识别
  • 缺点:
    不能反映训练数据本身的特性。
    能力有限,可以告诉你的是1还是2 ,但没有办法把整个场景描述出来。

1.3 模型之间的关系

二者关系:由生成模型可以得到判别模型,但由判别模型得不到生成模型。

2 概率图模型( Graphical Models )

概率图模型:是一类用图的形式表示随机变量之间条件依赖关系的概率模型是概率论与图论的结合。图中的节点表示随机变量,缺少边表示条件独立假设。

根据图中边有无方向。常用的概率图模型分为两类:

  • 有向图:最基本的是贝叶斯网络(Bayesian Networks ,BNs)
    eg:
    在这里插入图片描述
  • 无向图:马尔可夫随机场(Markov Random Fields, MRF)
    马尔可夫随机场模型中包含了一组具有马尔可夫性质的随机变量,这些变量之间的关系用无向图来表示。
    eg:
    在这里插入图片描述
    有向图模型和无向图模型的对比
  • 1共同之处
    将复杂的联合分布分解为多个因子的乘积
  • 2不同之处
    无向图模型因子是势函数，需要全局归一
    有向图模型因子是概率分布、无需全局归一
  • 3优缺点
    无向图模型中势函数设计不受概率分布约束,设计灵活,但全局归代价高有向图模型无需全局归一、训练相对高效

3 朴素贝叶斯分类器( Naive Bayes Classifier )

设x∈Ω是一一个类别未知的数据样本, Y为类别集合,若数据样本x属于一个特定的类别y(j) ,那么分类问题就是决定P(y(j)|x)，即在获得数据样本x时,确定x的最佳分类。所谓最佳分类，一种办法是把它定义为在给定数据集中不同类别y先验概率的条件下最可能的分类。贝叶斯理论提供了计算这种可能性的一种直接方法。
前面学过了这里只给出概率图表示：
朴素贝叶斯分类器的概率图表示
在这里插入图片描述
朴素贝叶斯是分类问题，y非0即1，如果y不止0,1两个值，如果是一个标注序列，那么就引申到隐马尔可夫模型了。

隐马尔可夫模型的概率图表示
在这里插入图片描述

4 隐马尔可夫模型( Hidden Markov Model，HMM )

  • HMM是一个五元组λ= (Y,X,Π,A,B) ,
    其中Y是隐状态(输出变量)的集合，) X是观察值(输入)集合，Π是初始状态的概率, A是状态转移概率矩阵，B是输出观察值概率矩阵。
  • 有两个假设：
    齐次一阶Markov
    观测独立
    在这里插入图片描述

5 最大熵马尔可夫模型( MEMM )

在这里插入图片描述

  • 优点：打破了HMM观测独立假设（更合理）
  • 缺点：label bias problem
    在这里插入图片描述
    在这里插入图片描述

6 条件随机场( conditional random fields，CRF )

简单说就是把MEMM的有向图变为无向图
打破了HMM的齐次Markov问题，这也是MEMM所没解决的问题
在这里插入图片描述

  • 简单地讲,随机场可以看成是一组随机变量的集合 (这组随机变量对应同一个样本空间)。当给每一个位置按照某种分布随机赋予一个值之后其全体就叫做随机场。

  • 当然，这些随机变量之间可能有依赖关系,一般来说，也只有当这些变量之间有依赖关系的时候,我们将其单独拿出来看成一个随机场才有实际意义。

  • **马尔科夫随机场( MRF )**对应一个无向图。这个无向图上的每一 个节点对应一个随机变量，节点之间的边表示节点对应的随机变量之间有概率依赖关系。因此, MRF的结构本质上反应了我们的先验知识- - 一哪些变量之间有依赖关系需要考虑，而哪些可以忽略。

  • 具有马尔科夫性质:离当前因素比较遥远(这个遥远要根据具体情况自己定义)的因素对当前因素的性质影响不大。

  • 现在,如果给定的MRF中每个随机变量下面还有观察值,我们要确定的是给定观察集合下,这个MRF的分布,也就是条件分布,那么这个MRF就称为CRF。它的条件分布形式完全类似于MRF的分布形式，只不过多了一个
    观察集合x。

  • 最通用角度来看, CRF本质上是给定了观察值(observations)集合的MRF。

6.1 CRF定义

最低0.47元/天 解锁文章
ClFH
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
条件随机场 CRF （Matble）源码
07-16
% minFunc fprintf('Compiling minFunc files...\n'); mex minFunc/lbfgsC.c % KPM fprintf('Compiling KPM files...\n'); mex -IKPM KPM/repmatC.c % crfChain fprintf('Compiling crfChain files...\n');...
使用条件随机场（CRF）来提升图像分割的表现
AI公园
11-17 8923
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Ihor Shylo编译：ronghuaiyang导读一个基于TensorFlow的CRF用法和实现的简单介绍。在一个理论...
文件 lable 图像分类_马尔可夫随机场之图像分割（个人向）
weixin_42150745的博客
12-31 1065
一.理论基础​ 马尔可夫随机场是一种基于统计的图像分割算法。马尔可夫啥的都具有马尔可夫性，马尔可夫性是啥呢？就是下一时刻事件的发生只与当前发生的事情有关，引申到图像领域就是：图像中的某一特点（灰度值）只与其附近的一小块领域有关，而与其他领域无关。基于图像分割的应用将图像分割即是把一副图像分割成多类，即是为每个像素点or一块区域打上label，然后通过不同的label赋予不同的灰度值，从而使不同的标...
全连接条件随机场_【图像后处理】python实现全连接CRFs后处理
weixin_39662611的博客
11-20 2821
前言目前图像像素级语义分割比较流行使用深度学习全卷积神经网络FCN或者各种FCN的改进版U-Net、V-Net、SegNet等方法。这些模型中使用了反卷积层进行上采样操作，虽然能够将特征图恢复至原图尺寸，但也造成了特征的损失，自然而然产生了分类目标边界模糊的问题。为了得到更精确的最终分类结果，通常要进行一些图像后处理。全连接CRFs是在目前深度学习图像分割应用中常用的一种图像后处理方式，它是CRF...
图像语义分割之FCN和CRF
热门推荐
余昌黔|书山有路
09-04 8万+
前言(呕血制作啊！)前几天刚好做了个图像语义分割的汇报，把最近看的论文和一些想法讲了一下。所以今天就把它总结成文章啦，方便大家一起讨论讨论。本文只是展示了一些比较经典和自己觉得比较不错的结构，毕竟这方面还是有挺多的结构方法了。介绍 图像语义分割，简单而言就是给定一张图片，对图片上的每一个像素点分类 从图像上来看，就是我们需要将实际的场景图分割成下面的分割图： 不同颜色代表不同类别。经过我阅读“
图解条件随机场
子燕若水的博客
06-14 265
有
条件随机场(CRF)
04-17
这个文档是对条件随机场（Condition Random Field）的简单介绍，介绍清晰简单、浅显，易于理解
CRF_matlab_条件随机场_
10-02
matlab实现CRF基础模型，CRF chain
条件随机场ppt(CRF)
04-17
条件随机场，condition random Field ，公式讲解，词性标注，序列标注
条件随机场CRF1
08-04
条件随机场CRF1
条件随机场代码（图像分割）
04-12
条件随机场代码（图像分割），可以直接对图像进行分割，也可以用于深度学习网络的后端优化
Dence CRF 条件随机场图像分割
08-31
利用平均场估计对条件随机场的高效实现。用于图像分割
DeepLab：深度卷积网络，多孔卷积 和全连接条件随机场 的图像语义分割 Semantic Image Segmentation with Deep Convolutional Nets, Atro
Taylor Guo
05-04 4万+
深度卷积网络，多孔卷积 和全连接条件随机场 的图像语义分割 DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 本文的主要任务是深度学习的图像语义分割
马尔科夫随机场在深度学习中的应用
weixin_33924312的博客
08-01 1269
前言 深度学习中，许多的实现并不单单是神经网络的搭建和训练，也包括使用一系列传统的方法与之结合的方式去增强深度学习的实现效果，在语义分割(semantic segmentation)和风格迁移(style transfer)中都有使用过MRF-Markov Random Field(马尔科夫随机场)这个概念，并且达到了不错的效果。 《马尔科夫随机场(MRF)在图像处理中的应用-图像分割、纹理迁移...
机器学习之条件随机场CRF一点理解
无鞋童鞋的博客
11-14 7497
1. 前言　　最近看了一些有关于CRF的论文，基本概念懂，但是到求解的部分有些疑惑。CRF问题容易构成NP-hard问题，求解过程还需要再学习。下面稍微介绍一些CRF的学习吧，这里前面CRF内容主要参考了下面博文，讲的非常好： http://blog.sina.com.cn/s/blog_6d15445f0100n1vm.html2. 介绍　　条件随机场(Conditional random fi
条件随机场（CRF)
AiTODD1的专栏
09-11 871
关联数据有两个特点：第一，我们准备建立模型的实体之间存在统计依赖性，第二，每个实体自身具有丰富的有利于分类的特征例如，当Web文档进行分类时候，网页上的文本类标签提供了很多信息，但超链接定义的页面之间的关系，可以进一步提高分类的准确度，图模型很自然的建立了实体之间的结构化关系。通常来讲，图模型已被用于表示联合概率分布P(Y,X)，其中的变量y代表我们希望预测的属性，输入变量X代表获得的实体信息。利
概率图模型学习笔记：HMM、MEMM、CRF
Mr.Scofield
01-29 7684
概率图模型学习笔记：HMM、MEMM、CRF 原创博客，转载请注明出处。 From Scofield. RxNLP 一、Preface 二、Prerequisite     2.1 概率图         2.1.1 概览         2.1.2 有向图 vs. 无向图         2.1.3 马尔科夫假设&马尔科夫性     2.2 判别式模型 vs.
三维条件随机场 ( dense CRF ) 分割MRI图像 (二)
Learning-Deep
12-19 4152
这是第二部分，如果cmake和ITK成功的编译了我们就可以正式的安装和使用三维的dense CRF 条件随机场了。再次赘述，这篇文章并不是要告诉大家复杂的条件随机场的数学原理，或者如何从源码编写crf程序，而是如何告诉大家如何使用别人已经写好的的工具去使用三维CRF分割三维的图像，其中主要是MRI图像的分割。环境是linux环境，ubuntu 16.04 server版本没有图形界。 文章主要分为...
【机器学习】Pandas中to_pickle()函数的介绍与机器学习中的应用
最新发布
qq_38614074的博客
05-29 1627
函数是Pandas库中的一个方法，用于将Pandas对象（如DataFrame、Series）序列化并保存到磁盘上的pickle文件中。Pickle是Python提供的一种标准序列化方法，它可以将Python对象转换为一种可以存储或传输的格式。函数是Pandas库中的函数提供了一种简单且高效的方式来序列化和保存Pandas对象（如DataFrame、Series等）到磁盘上的pickle文件中。这种方法对于长期存储或在不同Python会话之间共享数据特别有用。在本博文中，我们将进一步探讨。
crf条件随机场python
08-28
对于使用 Python 实现条件随机场（CRF）模型，你可以使用第三方库 `sklearn-crfsuite`。以下是一个简单的示例代码，演示了如何使用 `sklearn-crfsuite` 进行 CRF 模型训练和预测： 首先，确保你已经安装了 `sklearn-crfsuite` 库。你可以使用以下命令来安装： ```python pip install sklearn-crfsuite ``` 然后，你可以使用以下代码来训练和预测 CRF 模型： ```python import numpy as np import sklearn_crfsuite from sklearn_crfsuite import metrics # 准备训练数据和标签 X_train = np.array([['feature1', 'feature2', ...], ...]) y_train = np.array(['label1', 'label2', ...]) # 创建 CRF 模型 crf = sklearn_crfsuite.CRF() # 训练 CRF 模型 crf.fit(X_train, y_train) # 准备测试数据 X_test = np.array([['feature1', 'feature2', ...], ...]) # 预测标签 y_pred = crf.predict(X_test) # 评估模型性能 print(metrics.flat_classification_report(y_test, y_pred)) ``` 在上面的代码中，你需要将训练数据和标签 `X_train` 和 `y_train` 替换为你自己的数据。同样，测试数据 `X_test` 和对应的真实标签 `y_test` 也需要进行相应的替换。 这只是一个简单的例子，你可以根据自己的数据和需求进行进一步的调整和扩展。你还可以通过调整 CRF 模型的参数来优化模型性能。 希望这能帮到你！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值