NLP新闻文本分类之4基于深度学习的文本分类

基于深度学习的文本分类

学习目标

• 学习FastText的使用和基础原理
• 学会使用验证集进行调参

文本表示方法2

上一篇介绍文本表示方法：

• One-hot
• Bag of Words
• N-gram
• FT-IDF
  以上方法缺陷：
• 转换得到的向量维度很高，训练时间较长；
• 没有考虑单词与单词之间的关系，只是进行了统计。
  除了以上的文本表示方法，深度学习也可以用于文本表示，还可以将其映射到一个低维空间，提高学习效率。比较典型的例子有：FastText、Word2Vec、Bert，本篇先介绍FastText。

FastText
FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。所以FastText是一个三层的神经网络 ，输入层、隐藏层和输出层。

FastText在文本分类任务上优于TF-IDF：

• FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类；
• FastText学习到的Embedding空间维度较低，可以提高训练效率，减少训练时间。

基于FastText的文本分类

安装FastText：

• pip安装

pip install fasttext

• 源码安装

git clone https://github.com/facebookresearch/fastText.git
cd fastText
sudo pip install

PS：不知道为啥，我用这种方法安装没有成功…
分类模型：

import pandas as pd
from sklearn.metrics import f1_score

#转换为FastText需要的格式
train_df = pd.read_csv('train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2,
verbose=2, minCount=1, epoch=25, loss="hs")

val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.82

本章小结

• 介绍了FastText的原理和基础使用，并进行相应的实践；
• 介绍了通过10折交叉验证划分数据集。

本章作业

• 阅读FastText的文档，尝试修改参数，得到更好的分数
• 基于验证集的结果调整参数，使模型性能更优
  调参后：（未完待续）