Cross Entropy and Perplexity in NLP

最新推荐文章于 2021-09-12 11:57:29 发布
最新推荐文章于 2021-09-12 11:57:29 发布
阅读量1.6k 收藏
点赞数
分类专栏： 自然语言处理 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovelytigerphd/article/details/5101893
版权

如果一个随机变量 X~p(x), q(x) 为用于近似p(x)的概率分布，那么随机变量p和模型q的交叉熵定义为:

H(X,q) = H(X) + D(p||q) = -/sigma_{x}p(x)log q(x),

 

 

 

 

 

 

 

 

 

 

lovelytigerphd
关注
专栏目录
A Brief History of Word Embeddings and Their Use in NLP
AI天才研究院
08-05 819
1950年代，英文单词"word embedding"第一次出现在著名的科幻小说“狄更斯的通灵秘笈”中。当时，英语被视作计算机和语言处理领域的主要研究对象，因此，Word Embedding这一术语也被用来描述整个领域中的重要研究成果。1980年代，计算机模型如相似性匹配算法(similarity matching algorithms)或聚类算法(clustering algorithms)开始广泛使用。
MATLAB算法实战应用案例精讲-【数模应用】交叉熵损失函数（Cross-entropy loss function）（补充篇）
qq_36130719的博客
07-06 329
不过要注意，从模型的角度来看，找到不是最终目的，找的过程（即模型的训练）更重要。模型以找到为目标，不断去拟合数据点，使得它的输出离数据的观察值越来越近，直至近到我们满意为止，这时，模型就算训练好了。然后，这个模型针对任何一个新的输入值，就会产生符合训练数据集的分布的一个输出，此输出值即模型产生的预测值。一般是用来量化两个概率分布之间差异的损失函数（多用于分类问题）。举个例子，在多分类问题中，一个物体所属于不同类别的真实分布p如下：也就是说，真实的分类是这个物体属于Class B。预测分布q。
Perplexity Vs Cross-entropy
dengtiaolu0407的博客
06-23 477
Evaluating a Language Model: Perplexity We have a serial of \(m\) sentences: \[s_1,s_2,\cdots,s_m\] We could look at the probability under our model \(\prod_{i=1}^m{p(s_i)}\). Or more convenientl...
语言模型常用评价方法：perplexity、bleu
满腹的小不甘
12-10 1万+
1. perplexity（困惑度、复杂度） 语言模型效果好坏的常用评价指标是perplexity，简单说，perplexity值刻画的是语言模型预测一个语言样本的能力。在一个测试集上得到的perplexity值越低，说明建模效果越好。计算公式如下： 其中，为word数量 在语言模型的训练中，通常使用perplexity的对数形式：将每个位置上的概率取对数再平均 对数使用加法的形式，可以加速...
perplexity 衡量指标_求通俗解释NLP里的perplexity是什么？
weixin_39805998的博客
12-22 1304
高赞回答讲得已经非常通俗易懂，不过由于自然语言处理的发展，出现了许多不同类型的模型，对困惑度这个指标的计算方法颇有不同(包括前面的高赞回答也只是展开了一个子集)，常常让人摸不着头脑。所以这个回答旨在尽量全面地梳理不同语境下的perplexity的计算，帮助解决因为这些历史原因造成的困惑。润风：困惑度(perplexity)的基本概念及多种模型下的计算(N-gram, 主题模型, 神经网络)​zhu...
如何计算给定一个unigram语言模型_求通俗解释NLP里的perplexity是什么？
weixin_39702400的博客
12-21 405
前面的回答都很优秀，但我想基于我的理解做个补充。困惑度 Perplexity 是衡量语言模型好坏的指标，为了更好地理解其意义，首先有必要回顾熵的概念。根据信息论与编码的知识，我们知道 熵代表着根据信息的概率分布对其编码所需要的最短平均编码长度。Entropy假设离散随机变量 概率分布为 离散随机变量 概率分布为 离散随机变量 概率分布为 则根据离散随机变量熵的计算公式可计算得也就是说如果需要对离散...
信息论：熵与互信息
皮皮blog
11-25 9万+
熵/信息熵http://这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。熵/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。
从零开始学自然语言处理-十万字长文带你深入学习自然语言处理全流程
wenyusuran的专栏
09-12 3063
前言 内容会涉及自然语言处理的各个方面知识内容和具体操作：包括但不仅限于词法分析，句法分析，语义分析，文本聚类，文本分类，情感分析，文本摘要生成，主题模型，词嵌入，文本语义相似度，自然语言推理，机器翻译，语言模型，信息抽取，关系预测，对话，指代消解等等。 针对中文的自然语言处理，我们需要先将段落和句子切分为词语，这是最基础的一步操作，分词属于词法分析的基础部分。 以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！ MATLAB-30天带你从入门到精通 MAT
Perplexity(困惑度)
microstrong
09-15 3万+
转载请注明出处，谢谢。 质量不佳，请多包涵。什么是Perplexity(困惑度)?在信息论中，perplexity(困惑度)用来度量一个概率分布或概率模型预测样本的好坏程度。它也可以用来比较两个概率分布或概率模型。（译者：应该是比较两者在预测样本上的优劣）低困惑度的概率分布模型或概率模型能更好地预测样本。1.概率分布的困惑度 2.概率模型的困惑度 3.每个分词的困惑度1.概率分布的困惑度定义
N-gram语言模型 & Perplexity & 平滑
__kingzone__的专栏
11-07 4151
N-gram语言模型 & Perplexity & 平滑 2018年04月03日 18:16:20 qjf42 阅读数：646 版权声明：本文为博主原创文章，欢迎交流分享，未经博主允许不得转载。 https://blog.csdn.net/qjf42/article/details/79761786   文章目录 1. N-gram语言模型 2. Perplexity（...
困惑度(perplexity)的基本概念及比较多种模型下的计算（N-gram, 主题模型/LDA, 神经网络/RNN）
blmoistawinde的博客
03-19 1万+
发现网络上流传的关于困惑度(perplexity)大多数都是利用了N-gram或者主题模型的例子来阐述的。但是现在这个年代来学习这个指标的人多半都是想研究神经网络的，而两者的对困惑度的计算方法又很不同，这就不能不让人对“困惑度”感到“困惑”了。本人虽然才疏学浅，还是斗胆在这里尝试写一篇文章，试图用简洁的方式来梳理清楚其中的困惑。 困惑度的基本定义 首先，困惑度是用来评价语言模型好坏的指标。语言模型...
信息论基本概念
橙子味的狸的博客
09-06 2051
熵 首先介绍信息论中最基本的概念：熵。 如果X是一个离散型随机变量，其取值空间为R，其概率分布为p(x)=P(X=x)，x∈R。那么，X的熵H(X)定义为： 该公式中对数以2为底，所以此时熵的单位为比特，除了以2为底以外，还可以以自然对数、10为底，单位分别为奈特、哈特，通常以2为底居多。 熵又称为自信息(self-information)，可以视为描述一个随机变量的不确定性的数量。它表示信源X...
困惑度 (perplexity)
data+scenario+science+insight
05-21 5434
困惑度 (perplexity) 在自然语言处理中，对于一个语言模型，一般用困惑度来衡量它的好坏，困惑度越低，说明语言模型面对一句话感到困惑的程度越低，语言模型就越好。 对于LDA模型，最常用的两个评价方法困惑度（Perplexity）、相似度（Corre）。 其中困惑度可以理解为对于一篇文章d，所训练出来的模型对文档d属于哪个主题有多不确定，这个不确定成都就是困惑度。困惑度越低，说明聚类的效果越好。 对于不同Topic所训练出来的模型，计算它的困惑度。最小困惑度所对应的Topic就..
交叉熵（Cross-Entropy）
热门推荐
rtygbwwwerr的专栏
03-03 19万+
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X\mathcal{X}，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈\mathcal{X}，我们定义事件X=x0X=x_0的信息量为： I(x0)=−log(p(x0))I(
熵、相对熵、交叉熵等理解
weixin_41093566的博客
04-11 1033
** 信息量 ** 假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关，...
熵(Entropy):机器学习
伯约让你失望了
06-06 6864
熵(Entropy):机器学习 熵 定义 从信息的角度来说，熵(Entropy)是一种从定量的角度来衡量信息(Information) 多少的指标。简单的说，就是信息所包含的不确定性的大小度量。一个信息所包含的事件的不确定性越大，它所含的信息就越多。我的理解是在这个信息还未获得时，这个信息所描述的事件的不确定性的大小。 举两个例子，当你获得一条可靠的信息：明天太阳从东方升起。这...
交叉熵--损失函数
comeonow的博客
11-23 1671
交叉熵--损失函数 【简介】 　　交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数，其倒数可视为每个词的平均概率。平滑是指对没观...
统计自然语言处理（第二版）学习笔记：第二章 数学基础
XB_please的博客
08-29 964
第二章 数学基础 2.1 概率论基础 基本概念 2.1.1 概率 两类问题： 决策规则由函数sgn(f(x))给出，通常sgn(0)=1. 概率(probability)是从随机试验中的事件到实数域的映射函数，用以表示事件发生的可能性。 P(A)表示事件A的概率，Ω是试验的样本空间，概率函数必须满足三条公理： 1.（非负性）P(A)>=0 2.（规范性）P(Ω)=1 3.（可列可加性）若事件...
cross entropy
最新发布
10-22
cross entropy是一种用于衡量两个概率分布之间差异的指标。在机器学习中，cross entropy通常被用作损失函数，用于衡量模型预测结果与真实结果之间的差异。在分类问题中，cross entropy可以用来衡量模型对于每个类别...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值