机器学习备忘录之文本表示模型

词袋模型(Bag of Words)

词袋模型是最基础的文本表示模型。将文章以词为单位切分开，忽略词的出现顺序，将文章表示成一个长向量（每一维代表一个单词，该维的权重表示重要程度）。常用TF-IDF(Term Frequency-Inverse Document Frequency)来计算权重。
某个单词在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为该词具有很好的类别区分能力，适合用来分类。TF(t,d)是词频，表示关键词t在文章d中出现的频率。
IDF是逆向文件频率表示关键词出现在所有文章中的频率，IDF越大，表示包含这个关键词的文档越少，也就表示这个关键词越能用于分类。
I D F ( t ) = l o g ( 文 章 总 数 包 含 关