NLP之新闻文本分类——Task3

Task3——基于机器学习的文本分类

1.⽂本表示方法

这里插入一下word2vec，在讲word2vec的过程中一般要对one-hot进行介绍，这里推荐一篇文章，很详细的揭示了文本表示的本质（主要是word2vec）。
秒懂词向量word2vec的本质

1.1 One-hot
这里的One-hot与数据挖掘任务中的操作是一致的，即将每一个单词使用一个离散的向量表示。具体将每个字/词编码一个索引，然后根据索引进行赋值。
One-hot表示方法的例子如下：
句子1：我 爱 北 京 天 安 门
句子2：我 喜 欢 上 海
首先对所有句子的字进行索引，即将每个字确定一个编号：

{
‘我’: 1, ‘爱’: 2, ‘北’: 3, ‘京’: 4, ‘天’: 5,
‘安’: 6, ‘门’: 7, ‘喜’: 8, ‘欢’: 9, ‘上’: 10, ‘海’: 11
}
在这里共包括11个字，因此每个字可以转换为一个11维度稀疏向量：

我：[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
爱：[0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
…
海：[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1]

1.2 Bag of Words
Bag of Words（词袋表示），也称为Count Vectors，每个文档的字/词可以使用其出现次数来进行表示。
句子1：我 爱 北 京 天 安 门
句子2：我 喜 欢 上 海
直接统计每个字出现的次数，并进行赋值：
句子1：我 爱 北 京 天 安 门
转换为 [1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0]
句子2：我 喜 欢 上 海
转换为 [1, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1]

1.3 N-gram
N-gram与Count Vectors类似，不过加入了相邻单词组合成为新的单词，并进行计数。
如果N取值为2，则句子1和句子2就变为：
句子1：我爱 爱北 北京 京天 天安 安门
句子2：我喜 喜欢 欢上 上海

1.4 TF-IDF
TF-IDF 分数由两部分组成：第一部分是词语频率（Term Frequency），第二部分是逆文档频率（Inverse Document Frequency）。其中计算语料库中文档总数除以含有该词语的文档数量，然后再取对数就是逆文档频率。

TF(t)= 该词语在当前文档出现的次数 / 当前文档中词语的总数
IDF(t)= log_e（文档总数 / 出现该词语的文档总数）

2.基于机器学习的文本分类

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer 	# Count Vectors + RidgeClassifier
from sklearn.feature_extraction.text import TfidfVectorizer     # TF-IDF +  RidgeClassifier
from sklearn.linear_model import RidgeClassifier
from sklearn.metrics import f1_score

#导入数据
train_df = pd.read_csv('datalab/72510/train_set.csv', sep='\t', nrows=15000)

# 方法一：基于Count Vectors + RidgeClassifier
vectorizer = CountVectorizer(max_features=3000) #对关键词集按照出现频率排序，只取前max_features个词作为关键词集
train_test = vectorizer.fit_transform(train_df['text']) #计算各个词语出现的次数
clf = RidgeClassifier()
clf.fit(train_test[:10000], train_df['label'].values[:10000]) #回归拟合
val_pred = clf.predict(train_test[10000:]) #预测
print(f1_score(train_df['label'].values[10000:], val_pred, average='macro')) #计算f1指标值
#输出为 0.654418775812

 # 方法二：基于TF-IDF +  RidgeClassifier
tfidf = TfidfVectorizer(ngram_range=(1,3), max_features=3000) #使特征可以为单个字或者3个字 
train_test = tfidf.fit_transform(train_df['text'])
clf = RidgeClassifier()
clf.fit(train_test[:10000], train_df['label'].values[:10000])
val_pred = clf.predict(train_test[10000:])
print(f1_score(train_df['label'].values[10000:], val_pred, average='macro'))
# 0.87193721737