NLP学习 Task 4 基于深度学习的文本分类1 笔记

资料链接

之前方法的缺点：转换得到的向量维度很高，需要较长的训练时间；没有考虑单词与单词之间的关系，只是进行了统计。

深度学习既可提供特征提取功能，也可以完成分类的功能。深度学习方法之一：FastText

使用keras实现的FastText网络结构：

FastText 的使用和基本原理

基本原理：

  FastText是一种典型的深度学习词向量的表示方法，它非常简单。通过 Embedding 层将单词映射到稠密空间，然后将句子中所有的单词在 Embedding 空间中进行平均，进而完成分类操作。所以，FastText 是一个三层的神经网络，输入层、隐含层和输出层。

对 Embedding 的理解：参考文章 https://zhuanlan.zhihu.com/p/46016518

FastText 在文本分类任务上，是优于TF-IDF的：
  FastText 用单词的 Embedding 叠加获得的文档向量，将相似的句子分为一类；
  FastText 学习到的 Embedding 空间维度比较低，可以快速进行训练。
论文地址：https://arxiv.org/abs/1607.01759

基于FastText的文本分类

官方开源的版本：https://github.com/facebookresearch/fastText/tree/master/python
pip安装：pip install fasttext
分类模型：

import pandas as pd
from sklearn.metrics import f1_score

# 转换为FastText需要的格式
train_df = pd.read_csv('../input/train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, 
                                  verbose=2, minCount=1, epoch=25, loss="hs")

val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.82

使用验证集调参

使用10折交叉验证，每折使用9/10的数据进行训练，剩余1/10作为验证集检验模型的效果。这里需要注意每折的划分必须保证标签的分布与整个数据集的分布一致。通过10折划分，我们一共得到了10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得了所有数据的10种分割。然后基于验证集的结果调整超参数，使得模型性能更优。
统计标签：

label2id = {}
for i in range(total):
    label = str(all_labels[i])
    if label not in label2id:
        label2id[label] = [i]
    else:
        label2id[label].append(i)

补充

1. 阅读FastText的文档，尝试修改参数，得到更好的分数；

2. 基于验证集的结果调整超参数，使得模型性能更优。

总结

这部分内容有点难度，感觉资料里面写的内容也不是很清晰，尤其是 Embedding 层和交叉验证的具体实现，后面继续找资料学习补充。