χ-MODEL: IMPROVING DATA EFFICIENCY IN DEEP LEARNING WITH A MINIMAX MODEL笔记
ICLR22 :X-MODEL: IMPROVING DATA EFFICIENCY IN DEEP
LEARNING WITH A MINIMAX
文章卖点主要集中在:
使用minmax prinple 以对抗的方式来训练header
这里 第二步就是两个不同的headers
通过这种极大极小策略,特定任务的头部被认为可以从互补的角度捕获有意义的信息,以避免退化问题。极大极小模型提供更多样的信息,可以进一步增强模型随机性的不变性...
原创
2022-06-06 17:01:19 ·
65 阅读 ·
0 评论