词共现矩阵表示词向量和点互信息

浅白Coder

已于 2024-02-03 21:32:46 修改

阅读量630

点赞数 15

分类专栏：自然语言处理文章标签：自然语言处理深度学习人工智能

于 2024-02-03 06:00:00 首次发布

本文链接：https://blog.csdn.net/Xbusiwang/article/details/135983758

版权

自然语言处理专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文介绍了如何通过计算文档中词的频次和共现矩阵，利用点互信息调整权重，以更准确地识别文档主题。特别关注了如何处理高频词和低频词，以及如何使用NLP技术将文本数字化处理为向量表示。

摘要由CSDN通过智能技术生成

1.文档中某些字/词出现的频次往往能反应该字在文档中的重要程度，也从侧面反应了文档的主题，比如一个新闻，如果出现很多类似“足球”“篮球”词汇的描述，我们可以大概率推断这是一个关于体育的新闻。但是有些高频词会影响我们对文档的分析，比如“我”“你”“。、，！”这种词汇在文档中的数目非常多，但对于我们分析文档，没有什么益处，毕竟所有的文档，基本都包括这些内容。

2.NLP中对于给定一个句子 $W=w_1w_2...w_n$ ，其中 $w_i$ 是一个单词或者汉字/词语，为了处理这一段话，我们首先要将句子数字化处理。即进行初步的字符映射编码！其中用词之间的共现来表示一个句子的向量是一种不错的方式；比如有三句话：我喜欢自然语言处理。/我爱深度学习。/我喜欢机器学习。（已分词）

这三句话的词表包括：【我喜欢自然语言处理爱深度学习机器。】三个句子的共现矩阵如下表示：其中M_ij表示词典中第i个词和第j个词在文档中（此指三个句子）的共现次数

注：共现矩阵的每一行表示该词的向量表示，即 "我" ：[0, 2, 1, 1, 1, 1, 1, 2, 1, 3]

M = np.array([[0, 2, 1, 1, 1, 1, 1, 2, 1, 3],
              [2, 0, 1, 1, 1, 0, 0, 1, 1, 2],
              [1, 1, 0, 1, 1, 0, 0, 0, 0, 1],
              [1, 1, 1, 0, 1, 0, 0, 0, 0, 1],
              [1, 1, 1, 1, 0, 0, 0, 0, 0, 1],
              [1, 0, 0, 0, 0, 0, 1, 1, 0, 1],
              [1, 0, 0, 0, 0, 1, 0, 1, 0, 1],
              [2, 1, 0, 0, 0, 1, 1, 0, 1, 2],
              [1, 1, 0, 0, 0, 0, 0, 1, 0, 1],
              [3, 2, 1, 1, 1, 1, 1, 2, 1, 0]])

在1中我们知道像“。”这种高频词与许多词共现，因此我们降低他的权重，如果一个词只与个别词共现，则提高它的权重，这里介绍点互信息（Pointwise Mutual Information,PMI）

对于词w和上下文c：

$PMI(w,c)=log_2{\frac{P(w,c)}{P(w)P(c)}}$

其中P(w,c),P(w),P(c)分别是w与c的共现频率，w和c出现的频率

def pointwiseMutualInformation(M):
    row_sum=M.sum(axis=0)#每行表示该词和其他词的共现个数
    col_sum=M.sum(axis=1)
    total_sum=row_sum.sum()#某一行或某一列
    expected=np.outer(row_sum,col_sum)/total_sum#获取公式的分母，除一个total_sum，因为和分子消去一个
    M=M/expected
    with np.errstate(divide='ignore'):#不显示log(0)的警告
        M=np.log(M)
    print(M)
    M[np.isinf(M)]=0.0