零基础入门NLP - 天池新闻文本分类Task4笔记

零基础入门NLP - 天池新闻文本分类

以下以Datawhale与天池举办的新闻文本分类这个NLP赛题做的NLP入门Task2笔记
赛题链接：https://tianchi.aliyun.com/competition/entrance/531810/introduction.

Task4:基于深度学习的文本分类1-fastText

与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。从本章开始我们将学习如何使用深度学习来完成文本表示。

文本表示方法Part2

在上一章节，我们介绍几种文本表示方法：
One-hot
Bag of Words
N-gram
TF-IDF
也通过sklean进行了相应的实践，相信你也有了初步的认知。但上述方法都或多或少存在一定的问题：转换得到的向量维度很高，需要较长的训练实践；没有考虑单词与单词之间的关系，只是进行了统计。

与这些表示方法不同，深度学习也可以用于文本表示，还可以将其映射到一个低纬空间。其中比较典型的例子有：FastText、Word2Vec和Bert。在本章我们将介绍FastText，将在后面的内容介绍Word2Vec和Bert。

FastText
FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

所以FastText是一个三层的神经网络，输入层、隐含层和输出层。

FastText在文本分类任务上，是优于TF-IDF的：
FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
FastText学习到的Embedding空间维度比较低，可以快速进行训练

基于FastText的文本分类

FastText可以快速的在CPU上进行训练，最好的实践方法就是官方开源的版本：
链接: https://github.com/facebookresearch/fastText/tree/master/python.
安装方法：
pip安装

pip install fasttext

若安装过程中出现以下报错

“error：Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools”

则可以去python的各种第三方安装包链接中找到适合自己版本的.whl文件，然后下载安装。
https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext.
这边我下载的是fasttext‑0.9.2‑cp37‑cp37m‑win_amd64.whl，放到任意盘目录中，在其路径打开cmd输入以下命令则可安装。

pip install fasttext‑0.9.2‑cp37‑cp37m‑win_amd64.whl

源码安装

git clone https://github.com/facebookresearch/fastText.git
cd fastText
sudo pip install

安装完成以后，

import pandas as pd
import fasttext
train_df = pd.read_csv('./dataset/input/train_set.csv', sep='\t')

# 转换为FastTest需要的格式
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, 
                                  verbose=2, minCount=1, epoch=25, loss="hs")

val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.82

此时数据量比较小得分为0.82，当不断增加训练集数量时，FastText的精度也会不断增加5w条训练样本时，验证集得分可以到0.89-0.90左右.

使用验证集调参

在使用FastText中，有一些模型的参数需要选择，这些参数会在一定程度上影响模型的精度。这里通过使用k-fold交叉验证的方法进行调参。使用10折交叉验证，每折使用9/10的数据进行训练，剩余1/10作为验证集检验模型的效果。这里需要注意每折的划分必须保证标签的分布与整个数据集的分布一致。通过10折划分，我们一共得到了10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得了所有数据的10种分割。不失一般性，我们选择最后一份完成剩余的实验，即索引为9的一份做为验证集，索引为1-8的作为训练集，然后基于验证集的结果调整超参数，使得模型性能更优。