Task 4 基于深度学习的⽂本分类1

Task 4 基于深度学习的⽂本分类1

学习⽬标

学习FastText的使用和基础原理

学会使用验证集进行调参

FastText

是一种典型的深度学习词向量的表示方法，它非常简单通过Ebedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，来分类。

基于FastText的⽂本分类

安装

pip install fasttext
#源码安装
git clone https://github.com/facebookresearch/fastText.git
cd fastText
sudo pip install .

分类模型

import pandas as pd
from sklearn.metrics import f1_score
# 转换为FastText需要的格式
train_df = pd.read_csv('../input/train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')
import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2,
 verbose=2, minCount=1, epoch=25, loss="hs")
val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.82

如何使用验证集调参

在使用TF-IDF和FastText中，有一些模型的参数需要选择，这些参数会在一定程度上影响模型的精度，那么如何选择这些参数呢？
1.通过阅读文档，要弄清楚这些参数的大致含义，那些参数会增加模型的复杂度
2.通过在验证集上进行验证模型精度，找到模型在是否过拟合还是欠拟合

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bk2x9N58-1595838670647)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20200727162931204.png)]

这里我们使用10折交叉验证，每折使用9/10的数据进行训练，剩余1/10作为验证集检验模型的效果。这里需要注意每折的划分必须保证标签的分布与整个数据集的分布一致。

label2id = {}
for i in range(total):
 label = str(all_labels[i])
 if label not in label2id:
 label2id[label] = [i]
 else:
 label2id[label].append(i)

通过10折划分，我们一共得到了10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得了所有数据的10种分割。不失一般性，我们选择最后一份完成剩余的实验，即索引为9的一份做为验证集，索引为1-8的作为训练集，然后基于验证集的结果调整超参数，使得模型性能更优。