在进行各种自然语言处理的过程,经常会遇到计算单词共现频率的情况,作为自然语言处理领域的小白来说,在计算单词共现频率的过程也遇到了许多坑,因此,把这个简单的方法介绍给大家。
第一步:构造单词语料的字典,并给单词进行编码即数字化。
第二步:从单词语料中统计单词之间的共现频率,本例以一个句子为窗口大小,统计一个句子中单词之间的共现频率。
在进行各种自然语言处理的过程,经常会遇到计算单词共现频率的情况,作为自然语言处理领域的小白来说,在计算单词共现频率的过程也遇到了许多坑,因此,把这个简单的方法介绍给大家。
第一步:构造单词语料的字典,并给单词进行编码即数字化。
第二步:从单词语料中统计单词之间的共现频率,本例以一个句子为窗口大小,统计一个句子中单词之间的共现频率。