零基础入门NLP-新闻文本分类

TF-IDF 分数由两部分组成：第一部分是词语频率（Term Frequency），第二部分是逆文档频率（Inverse Document Frequency）。其中计算语料库中文档总数除以含有该词语的文档数量，然后再取对数就是逆文档频率。

TF(t)= 该词语在当前文档出现的次数 / 当前文档中词语的总数
IDF(t)= log_e（文档总数 / 出现该词语的文档总数）

1、TF-IDF主要参数

norm：'l1', 'l2', or None,optional

    范数用于标准化词条向量。None为不归一化

ngram_range: tuple(min_n, max_n)
    要提取的n-gram的n-values的下限和上限范围，在min_n <= n <= max_n区间的n的全部值

max_df： float in range [0.0, 1.0] or int, optional, 1.0 by default
    当构建词汇表时，严格忽略高于给出阈值的文档频率的词条，语料指定的停用词。如果是浮点值，该参数代表文档的比例，整型绝对计数值，如果词汇表不为None，此参数被忽略。

token_pattern：string
    正则表达式显示了”token“的构成，仅当analyzer == ‘word’时才被使用。两个或多个字母数字字符的正则表达式࿰