一、文本表示方法
- one-hot
- count vectors
- n-gram
- tf-idf(重点)
tf-idf
TF-IDF 分数由两部分组成:第一部分是词语频率(Term Frequency),第二部分是逆文档频率(Inverse Document Frequency)。其中计算语料库中文档总数除以含有该词语的文档数量,然后再取对数就是逆文档频率。
TF(t)= 该词语在当前文档出现的次数 / 当前文档中词语的总数
IDF(t)= log e ( 文 档 总 数 / 出 现 该 词 语 的 文 档 总 数 ) \log_e(文档总数 / 出现该词语的文档总数) loge(文档总数/出现该词语的文档总数)
二、用机器学习做文本分类
# Count Vectors + RidgeClassifier
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import RidgeClassifier