零基础入门NLP - 新闻文本分类(三、基于机器学习的文本分类)

一、文本表示方法

1. one-hot
2. count vectors
3. n-gram
4. tf-idf(重点）

tf-idf

TF-IDF 分数由两部分组成：第一部分是词语频率（Term Frequency），第二部分是逆文档频率（Inverse Document Frequency）。其中计算语料库中文档总数除以含有该词语的文档数量，然后再取对数就是逆文档频率。

TF(t)= 该词语在当前文档出现的次数 / 当前文档中词语的总数
IDF(t)= ${\log }_e（文档总数/出现该词语的文档总数)$

二、用机器学习做文本分类

# Count Vectors + RidgeClassifier

import pandas as pd

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import RidgeClassifier