nlp实践--基于深度学习的文本分类1_深度学习和机器学习的文本分类有哪些不同-CSDN博客

本文链接：https://blog.csdn.net/qq_45334789/article/details/107597750

学习链接: 基于深度学习的文本分类1

FastText论文：Bag of Tricks for Efficient Text Classification

与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。

文本表示方法 Part2

现有文本表示方法的缺陷

在基于机器学习的文本分类中，介绍了4中文本表示方法：one-hot、Bag of Word、N-gram和TF-IDF。但上述方法存在一定的问题：转换得到的向量维度很高，需要较长的训练实践；没有考虑单词与单词之间的关系，只是进行了统计。

与这些表示方法不同，深度学习也可以用于文本表示，并将其映射到一个低维空间。其中比较典型的例子有FastText、Word2Vec和Bert。本章介绍FastText。

FastText

FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

所以FastText是一个三层的神经网络，输入层、隐含层和输出层。
在这里插入图片描述
下图是使用keras实现的FastText网络结构：

FastText在文本分类任务上，是优于TF-IDF的：

FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类

基于FastText的文本分类

FastText可以快速的在CPU上进行训练，最好的实践方法就是官方开源的版本： https://github.com/facebookresearch/fastText/tree/master/python

pip安装
```
pip install fasttext
```
源码安装

git clone https://github.com/facebookresearch/fastText.git
cd fastText
sudo pip install .

分类模型

import pandas as pd
from sklearn.metrics import f1_score

train_df = pd.read_csv(r'D:\python\python3.6\pysl\Pre_\nlp_data\train_set.csv', sep='\t', nrows=15000, index='label')
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text', 'label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, 
                                 verbose=2, minCount=1, epoch=25, loss='hs')
'''
    训练一个监督模型，返回一个模型对象
    @param input:           训练数据文件路径
    @param lr:              学习率
    @param wordNgrams:      n-gram个数
    @param minCount:        词频阈值, 小于该值在初始化时会过滤掉
    @param epoch:           次数
    @param loss:            损失函数类型, softmax, ns: 负采样, hs: 分层softmax
'''
val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))

#0.8197796218095352

此时数据量比较小得分为0.82，当不断增加训练集数量时，FastText的精度也会不断增加5w条训练样本时，验证集得分可以到0.89-0.90左右。

如何使用验证集调参

在使用TF-IDF和FastText中，有一些模型的参数需要选择，这些参数会在一定程度上影响模型的精度，那么如何选择这些参数呢？

通过阅读文档，要弄清楚这些参数的大致含义，那些参数会增加模型的复杂度
通过在验证集上进行验证模型精度，找到模型在是否过拟合还是欠拟合

这里我们使用10折交叉验证，每折使用9/10的数据进行训练，剩余1/10作为验证集检验模型的效果。这里需要注意每折的划分必须保证标签的分布与整个数据集的分布一致。通过10折划分，我们一共得到了10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得了所有数据的10种分割。

#给文本序号标记标签
label2id = {}
for i in range(train_df.shape[0]):
    label = str(train_df['label'][i])
    if label not in label2id:
        label2id[label] = [i]
    else:
        label2id[label].append(i)

df = pd.DataFrame(pd.Series(label2id), columns=['id'])
df = df.reset_index().rename(columns={'index':'label'})

#选取每个标签下的前1/10 id对应的文本数据作为验证集，剩余作为训练集
testSet = []
for i in range(14):
    for j in range(int(len(df['id'][i])/10)):
        index
        testSet.append(train_df.iloc[df['id'][i][j],1])
        trainSet = train_df.drop(df['id'][i][j])