Multi-Sample Dropout: SimCSE并不是第一个提出多次Dropout
©择数Al 原创·作者|Dylan, Michael Zhu单位|择数科技研究方向|自然语言处理前言随着深度学习的大火,各种深度学习的网络模型层出不穷,但是随着深度网络越来越深,过拟合问题成为了每一个深度学习使用者挥之不去的问题,Dropout的出现极大的缓解了这个问题。在一次进行NLP竞赛中,我们发现了Dropout的一个新变种方法Multi-Sample Dropout,可以很好的帮助我们来上分。Multi-Sample Dropout相当于采用了dropout方法来快速廉价的获得了数据扩充的
转载
2021-09-30 17:28:44 ·
352 阅读 ·
0 评论