Task4 基于深度学习的文本分类1 (1)

最新推荐文章于 2022-11-01 17:01:34 发布

__y__

最新推荐文章于 2022-11-01 17:01:34 发布

阅读量220

点赞数

本文链接：https://blog.csdn.net/qq_34354951/article/details/107622594

版权

Task4 基于深度学习的文本分类1

在上一章节，我们使用传统机器学习算法来解决了文本分类问题，从本章开始我们将尝试使用深度学习方法。

基于深度学习的文本分类

与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。从本章开始我们将学习如何使用深度学习来完成文本表示。

学习目标

学习FastText的使用和基础原理
学会使用验证集进行调参

文本表示方法 Part2

现有文本表示方法的缺陷

在上一章节，我们介绍几种文本表示方法：

One-hot
Bag of Words
N-gram
TF-IDF

也通过sklean进行了相应的实践，相信你也有了初步的认知。但上述方法都或多或少存在一定的问题：转换得到的向量维度很高，需要较长的训练实践；没有考虑单词与单词之间的关系，只是进行了统计。

与这些表示方法不同，深度学习也可以用于文本表示，还可以将其映射到一个低纬空间。其中比较典型的例子有：FastText、Word2Vec和Bert。在本章我们将介绍FastText，将在后面的内容介绍Word2Vec和Bert。

FastText

FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

所以FastText是一个三层的神经网络，输入层、隐含层和输出层。

fast_text

下图是使用keras实现的FastText网络结构：

keras_fasttext

FastText在文本分类任务上，是优于TF-IDF的：

FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
FastText学习到的Embedding空间维度比较低，可以快速进行训练

如果想深度学习，可以参考论文：

Bag of Tricks for Efficient Text Classification, https://arxiv.org/abs/1607.01759

基于FastText的文本分类

FastText可以快速的在CPU上进行训练，最好的实践方法就是官方开源的版本：
https://github.com/facebookresearch/fastText/tree/master/python

pip安装

pip install fasttext

源码安装

git clone https://github.com/facebookresearch/fastText.git
cd fastText
sudo pip install .

两种安装方法都可以安装，如果你是初学者可以优先考虑使用pip安装。

分类模型

pip install fasttext

Requirement already satisfied: fasttext in d:\programfiles\anaconda3\lib\site-packages (0.9.2)Note: you may need to restart the kernel to use updated packages.
Requirement already satisfied: pybind11>=2.2 in d:\programfiles\anaconda3\lib\site-packages (from fasttext) (2.5.0)
Requirement already satisfied: numpy in d:\programfiles\anaconda3\lib\site-packages (from fasttext) (1.17.0)
Requirement already satisfied: setuptools>=0.7.0 in d:\programfiles\anaconda3\lib\site-packages (from fasttext) (49.2.0.post20200714)

festtext命令

supervised：训练一个监督分类器 quantize：量化模型以减少内存使用量 test：评估一个监督分类器 predict：预测最有可能的标签 predict-prob：用概率预测最可能的标签 skipgram：训练一个 skipgram 模型 cbow：训练一个 cbow 模型 print-word-vectors：给定一个训练好的模型，打印出所有的单词向量 print-sentence-vectors：给定一个训练好的模型，打印出所有的句子向量 nn：查询最近邻居 analogies：查找所有同类词

import pandas as pd
from sklearn.metrics import f1_score

# 转换为FastText需要的格式
train_df = pd.read_csv(r'D:\\Program\\Competition\\NLP\\input\\train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=3, 
                                  verbose=2, minCount=1, epoch=25, loss="hs")

val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.82

0.8184623301340445

此时数据量比较小得分为0.82，当不断增加训练集数量时，FastText的精度也会不断增加5w条训练样本时，验证集得分可以到0.89-0.90左右。

如何使用验证集调参

在使用TF-IDF和FastText中，有一些模型的参数需要选择，这些参数会在一定程度上影响模型的精度，那么如何选择这些参数呢？

通过阅读文档，要弄清楚这些参数的大致含义，那些参数会增加模型的复杂度
通过在验证集上进行验证模型精度，找到模型在是否过拟合还是欠拟合

train_val

这里我们使用10折交叉验证，每折使用9/10的数据进行训练，剩余1/10作为验证集检验模型的效果。这里需要注意每折的划分必须保证标签的分布与整个数据集的分布一致。

label2id = {}
for i in range(10):
    label = str(train_df['label'][i])
    if label not in label2id:
        label2id[label] = [i]
    else:
        label2id[label].append(i)

通过sklearn的StratifiedKFold模块进行分层交叉验证

from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=10)
for train, test in skf.split(train_df['text'], train_df['label_ft']):
    print("%s %s" % (train, test))
    model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, 
                                  verbose=2, minCount=1, epoch=25, loss="hs")
    val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[test]['text']]
    print(f1_score(train_df['label'].values[test].astype(str), val_pred, average='macro'))

[ 1365  1368  1370 ... 14997 14998 14999] [   0    1    2 ... 1656 1667 1674]
1.0
[    0     1     2 ... 14997 14998 14999] [1365 1368 1370 ... 3391 3397 3432]
0.9967608861726509
[    0     1     2 ... 14997 14998 14999] [2509 2534 2549 ... 4909 4934 4949]
1.0
[    0     1     2 ... 14997 14998 14999] [3806 3851 3903 ... 6393 6507 6549]
0.9980048557962945
[    0     1     2 ... 14997 14998 14999] [4489 4511 4649 ... 8261 8283 8301]
1.0
[    0     1     2 ... 14997 14998 14999] [5777 5808 5824 ... 9394 9480 9503]
1.0
[    0     1     2 ... 14997 14998 14999] [ 6693  6847  7230 ... 10744 10750 10760]
0.9540272345586315
[    0     1     2 ... 14997 14998 14999] [ 9096  9413  9439 ... 12253 12308 12326]
0.8335040323758506
[    0     1     2 ... 14997 14998 14999] [11536 11541 11636 ... 13725 13760 13808]
0.8331932666644979
[    0     1     2 ... 13725 13760 13808] [12441 13067 13125 ... 14997 14998 14999]
0.8392754302344289

通过10折划分，我们一共得到了10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得了所有数据的10种分割。不失一般性，我们选择最后一份完成剩余的实验，即索引为9的一份做为验证集，索引为1-8的作为训练集，然后基于验证集的结果调整超参数，使得模型性能更优。