自然语言处理（三）KL散度 朴素贝叶斯 tdidf 倒排索引

KL散度是一种衡量两个分布（比如两条线）之间的匹配程度的方法。

KL 散度在形式上定义如下：

p和q分别是两个分布的概率值，挺好理解的。但这是离散的。

举个例子：

KL散度越大越好。这就讲完了，KL散度好简单啊。。。比马尔可夫简单多了。。。

One-hot向量，One-hot编码，就是其中一个是1，其余都是0的那个，就是你手写数字识别的结果那种，这种不能够直到单词之间的距离，或者说，相似度。容易受维数灾难的困扰，毕竟字太多了。

朴素贝叶斯：

设男女就是类型，男C1，女C2;
属性条件：身高A1，体重A2，鞋码A3
那么我们想求在 A1、A2、A3 属性下，Cj 的概率，用条件概率表示就是 P(Cj|A1A2A3)。根据上面讲的贝叶斯的公式，我们可以得出：

而右式全部都能算出来，训练就是算这些概率而已。

PCFG：基于概率的CFG，用于在几个语法树中找最高概率的那一个。

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。上述引用总结就是, 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章.

词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。

逆向文件频率 (inverse document frequency, IDF) IDF的主要思想是：如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。

倒排索引：一个未经处理的数据库中，一般是以文档ID作为索引，以文档内容作为记录。
而Inverted index 指的是将单词或记录作为索引，将文档ID作为记录，这样便可以方便地通过单词或记录查找到其所在的文档。

l 首先对原始文档数据进行编号（DocID），形成列表，就是一个文档列表

2 然后对文档中数据进行分词，得到词条。对词条进行编号，以词条创建索引。然后记录下包含该词条的所有文档编号（及其它信息）。

看来也只是一种加快搜索的方法。