NLP入门--新闻文本分类Task4

之前介绍了如何使用传统机器学习方法去解决文本分类问题，而本章将基于深度学习，探索如何更好地解决文本分类问题。

学习目标

1、学习FastText的使用和基础原理
2、学会使用验证集进行调参

现有文本表示方法的缺陷

在之前介绍了包括One-hot、Bag of words等等方法，但这些方法都只是对词的一种统计，并没有考虑词与词之间的关系，且得到的向量维度很高，在面对高维数据时容易发生维数灾难现象。因此在这样的背景下，深度学习开始显露头角。与这些表示方法不同，深度学习也可以用于文本表示，还可以将其映射到一个低纬空间。其中比较典型的例子有：FastText、Word2Vec和Bert。在本章我们将介绍FastText，将在后面的内容介绍Word2Vec和Bert。

FastText

它是一种典型的深度学习词向量的表示方法，它通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。简单来说他就是一个单隐层的神经网络。
较之于TF-IDF，FastText有这样几个优势：
1、FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
2、FastText学习到的Embedding空间维度比较低，可以快速进行训练

基于FastText的文本分类

安装

对于初学者来说，利用pip安装：

pip install fasttext

分类模型

import pandas as pd
from sklearn.metrics import f1_score

# 转换为FastText需要的格式
train_df = pd.read_csv('../input/train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, verbose=2, minCount=1, epoch=25, loss="hs")

val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.8169962716699322

保持数据量不变，将学习率lr更改成0.8之后，精度略有减小：

model = fasttext.train_supervised('train.csv', lr=, wordNgrams=2, verbose=2, minCount=1, epoch=25, loss="hs")
#0.8155284896298024

保持数据量不变，将wordNgrams改成3时（提高了模型复杂度），精度略有提高：

model = fasttext.train_supervised('train.csv', lr=1, wordNgrams=3, verbose=2, minCount=1, epoch=25, loss="hs")
#0.8206392273784843

保持其他参数不变，增加数据量至25000，精度提升较明显：

model = fasttext.train_supervised('train.csv', lr=1, wordNgrams=2, verbose=2, minCount=1, epoch=25, loss="hs")
#0.8644281081797229

当不断增加训练集数量时，FastText的精度也会不断增加，5w条训练样本时，验证集得分可以到0.89-0.90左右。