算法梳理
1.Adversarial Transfer Learning for Punctuation Restoration论文思路整理
模型的结构
它由任务共享层,两个任务特定分类器和一个对抗性任务鉴别器组成。任务共享层来自预训练的BERT模型,该模型具有12个相同层的堆栈。任务特定的分类器分别用于标点预测任务和POS标记任务。它们都由BLSTMCRF层组成。
(1)实体识别对标点符号处理的帮助
使用额外的实体识别任务来帮助训练标点预测任务。利用对抗训练来防止共享参数包含任务特定信息。我们仅使用标点符号预测任务在解码阶段恢复标记。结果还表明,标点符号预测模型利用实体识别任务的任务不变知识进一步提高了性能。
(2)对抗性训练
对抗性的BERT-BLSTM-CRF将学习一种可以很好地概括从一项任务到另一项任务的表示形式。它们确保共享参数的内部表示不包含任何任务区分信息。因为每个字符在进行实体预测时都可以提供非常重要的信息。
多任务学习和对抗训练相结合,可以从额外的实体识别任务中学习任务不变信息。 实体识别任务通过多任务学习用作辅助任务,以进一步提高标点预测任务的性能。对抗性损失用于防止共享空间包含任务特定信息。
2.相关的Adversarial Transfer Learning模型的查找
由于Adversarial Transfer Learning for Punctuation Restoration这篇论文才刚刚发表,还没有相关的源代码,搜索了相关的adversarial transfer learning的相关源代码及其工作,有一篇相关的中文实体识别源代码。
https://blog.csdn.net/amy_mm/article/details/92421687
3.to do list
理清楚相关的bertpunc和adversarial transfer learning for pos的代码结构,进行修改和整合,形成这次的最终模型。