NLP新闻文本分类之3机器学习文本分类

学习目标

• 学会TF-IDF的原理和使用
• 使用sklearn的机器学习模型完成文本分类

理论储备

• TF-IDF名词解释：
  词频(Term Frequency,TF) 指的是在一份给定的文件里，某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化（分子一般小于分母，区别于IDF），以防止它偏向长的文件。（同一个西域在长文件里可能会比短文件由更高的词频，而不管该词语是否重要）
  逆向文件频率(Inverse document frequency,IDF) 是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取对数得到。
  某一特定文件内的高词频，以及该词语在整个文件集合中的低文件频率，可以产生高出权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。
• TF-IDF主要思想：
  若某个词或短语在一篇文章中出现的频率高（即TF高），而在其他文章中很少出现，则认为此词或者短语具有很好的分类功能。TF-IDF实际上是：TF*IDF，TFIDF值越大表示该特征词对这个文本的重要性越大。

文本表示方法

One-hot

文本表示成计算机能够运算的数字或向量的方法一般称为词嵌入（Word Embedding）方法。词嵌入将不定长的文本转换到定长的空间内，是文本分类的第一步。

Bag of Words

Bag of Words（词袋表示）也称Count Vectors，每个文档的字/词可以使用其出现的次数来进行表示。

在sklearn中可以直接用CountVectorizer来实现这一步骤：

from sklearn.feature_extraction.text import CountVectorizer
corpus = [
'This is the first document.',
'This document is the second document.',
'And this is the third one.',
'Is this the first document?',
]
vectorizer = CountVectorizer()
vectorizer.fit_transform(corpus).toarray()

基于机器学习的文本分类

Count Vectors+RidgeClassifier

• 使用F1得分来表示学习的分类精度

import pandas as pd

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import RidgeClassifier
from sklearn.metrics import f1_score

train_df = pd.read_csv('train_set.csv', sep='\t', nrows=15000)

vectorizer = CountVectorizer(max_features=3000)
train_test = vectorizer.fit_transform(train_df['text'])

clf = RidgeClassifier()
clf.fit(train_test[:10000], train_df['label'].values[:10000])

val_pred = clf.predict(train_test[10000:])
print(f1_score(train_df['label'].values[10000:], val_pred, average='macro'))
# 0.65

（额…我训练出来的精度只有0.65，有的训练出来是0.74）

TF-IDF+RidgeClassifier

#import pandas as pd

from sklearn.feature_extraction.text import TfidfVectorizer
#from sklearn.linear_model import RidgeClassifier
#from sklearn.metrics import f1_score

#train_df = pd.read_csv('train_set.csv', sep='\t', nrows=15000)

tfidf = TfidfVectorizer(ngram_range=(1,3), max_features=3000)
train_test = tfidf.fit_transform(train_df['text'])

clf = RidgeClassifier()
clf.fit(train_test[:10000], train_df['label'].values[:10000])

val_pred = clf.predict(train_test[10000:])
print(f1_score(train_df['label'].values[10000:], val_pred, average='macro'))
# 0.87

本章作业

• 尝试改变TF-IDF的参数，并验证精度
• 尝试使用其他的机器学习模型，完成训练和验证

clf = RidgeClassifier()
clf.fit(train_test[:100000], train_df['label'].values[:100000])

val_pred = clf.predict(train_test[100000:])
print(f1_score(train_df['label'].values[100000:], val_pred, average='macro'))
# 0.89

扩大训练样本，精度提高了0.02