本文探讨了ICLR 2020中对比学习在NLP预训练模型中的应用，挑战了传统的生成式模型，提出使用判别式目标函数，如ELECTRA和WKLM，以学习更高层次的抽象特征，提高模型性能。
生成式模型有着其天生的优势，即学习到丰富的特征，但它也有广受诟病的确定。判别式目标函数——长期以来被认为是无用的。这是因为，判别式模型通常不是直接拟合原有的分布流形，学习到的特征较为单一。但是，最近一些工作的基于对比学习的自监督学习框架，表现十分出色。
生成式模型有着其天生的优势，即学习到丰富的特征，但它也有广受诟病的确定。判别式目标函数——长期以来被认为是无用的。这是因为，判别式模型通常不是直接拟合原有的分布流形，学习到的特征较为单一。但是，最近一些工作的基于对比学习的自监督学习框架，表现十分出色。
长期以来，预训练语言模型（PTM）专注于基于最大似然估计(MLE)的目标任务，也就是采用的“生成式模型（Generative Model）”。例如BERT的目标任务就是一个典型的MLE：
<
最低0.47元/天 解锁文章
1248
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
