使用fast-bert进行医疗文本分类——FlyAI竞赛平台

使用fast-bert进行医疗文本分类

一、赛题分析

医疗文本的分类能够及时快速的对患者的病症和问题进行判断分类，然后分配相应的科室和专家来进行答疑。这样会极大的减少资源的浪费、更快更及时的病症判断。  本次竞赛需要根据患者的病症和问题来预测属于240个类别中的哪一类，如：普通内科、肝病科、健身、急诊科、手足外科等等。

通过使用pandas分析了下本地提供的3万条数据，可以发现数据标签分布不均衡（主要的分类为：妇产科，神经科，消化科，呼吸科，内科等。）（看评分标准用的是准确率，所以也就没有对不平衡数据标签进行处理）

然后又简单的分析了下文本（title+text）的长度

二、 核心思路

（1）数据处理：train.csv文件中有三个字段，分别为title，text和label。使用pandas将title和text字段进行拼接以生成新的字段作为bert模型的输入。（使用transformers的tokenizer的encode方法可以快速的将text转化为token id）

（2）本地实验：（使用fastai库进行快速的文本分类）

           本地结果：

bert-base模型：使用的是bert最后一层输出的cls标签进行分类。通过上表发现mean-max这种结果的效果好点，于是在线上使用了mean-max模型。

（3）线上实验：（使用kaushaltrivedi/fast-bert库来快速的进行文本分类）

参数设置如下表：（线上1个epoch需要花费1个半小时）

Tensorboard输出：

训练集的损失曲线呈阶梯下降趋势。
学习率衰减方面，分别使用了linear_cosine衰减和linear衰减。

线上结果：

三、比赛经验总结 

1. 学习了一下fastbert的使用，学会了使用fastbert快速的进行文本分类任务。 
2. 学习了一下fastai的使用，学会在fastai中使用huggingface的transformers快速的进行文本分类。 
3. 没有使用其他模型，专注于使用bert-base-chinese，并在此基础上进行改进模型。 
4. 学会了使用学习率衰减策略，使用了linear_cosine和linear衰减。 
5. 学会了使用pandas库，对数据进行简单的分析。

本文为作者在FlyAI平台发布的原创内容，采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://www.flyai.com/n/132699