自然语言处理04

最新推荐文章于 2022-03-28 15:49:54 发布

zyhe

最新推荐文章于 2022-03-28 15:49:54 发布

阅读量185

点赞数

本文链接：https://blog.csdn.net/weixin_39903546/article/details/89305100

版权

1、TF-IDF原理

概念： TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF=TF * IDF，TF即词频(Term Frequency)，IDF即逆向文件频率(Inverse Document Frequency)。

主要原理： 如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类，即TF高，IDF也高。TF表示词条在文档d中出现的频率。IDF的主要思想是：如果包含词条t的文档越少，也就是n越小，IDF越大，则说明词条t具有很好的类别区分能力。

IDF(x)=log(N/N(x))
平滑处理：

N 代表语料库中文本的总数，而N(x)代表语料库中包含词x的文本总数

比如“TF-IDF”作为一个专业性很强的词汇，在本篇博客出现的频率就比较高，但是在全部博文中出现的频率就较小。

缺点： 本质上IDF是一种试图抑制噪音的加权，并且单纯地认为文本频数小的单词就越重要，文本频数大的单词就越无用，显然这并不是完全正确的。IDF的简单结构并不能有效地反映单词的重要程度和特征词的分布情况，使其无法很好地完成对权值调整的功能，所以TFIDF法的精度并不是很高。此外，在TFIDF算法中并没有体现出单词的位置信息，对于Web文档而言，权重的计算方法应该体现出HTML的结构特征。

2. 文本矩阵化，使用词袋模型，以TF-IDF特征值为权重。（可以使用Python中TfidfTransformer库）

3. 互信息的原理

一般地，两个离散随机变量 X 和 Y 的互信息可以定义为：
$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x),p(y)}}\right)},,!$
其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而 p(x) 和 p(y) 分别是 X 和 Y 的边缘概率分布函数。

在连续随机变量的情形下，求和被替换成了二重定积分：
在这里插入图片描述
其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数，而p(x)和 p(y) 分别是 X 和 Y 的边缘概率密度函数。

如果对数以 2 为基底，互信息的单位是bit。
直观上，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。例如，如果 X 和 Y 相互独立，则知道 X 不对 Y 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 X 是 Y 的一个确定性函数，且 Y 也是 X 的一个确定性函数，那么传递的所有信息被 X 和 Y 共享：知道 X 决定 Y 的值，反之亦然。因此，在此情形互信息与 Y（或 X）单独包含的不确定度相同，称作 Y（或 X）的熵。而且，这个互信息与 X 的熵和 Y 的熵相同。（这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。）

互信息是 X 和 Y 的联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性：I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出：当 X 和 Y 独立时，p(x,y) = p(x) p(y)，因此：
在这里插入图片描述
此外，互信息是非负的（即 I(X;Y) ≥ 0），而且是对称的（即 I(X;Y) = I(Y;X)）。