![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理常用方法
fly_jx
这个作者很懒,什么都没留下…
展开
-
对比学习总结
对比学习1:理论对比学习的目的是希望我们输入的目标样例尽可能的靠近正样例以及远离负样例,在对比学习里,正负样例的选择非常重要2:正负样例的选择在多语言翻译里,一般我们把样例和目标翻译语言作为正样例,其他语言非对应目标语言翻译样本作为负样例,将对比损失和翻译损失相加作为最终损失在分类里,我们一般把同类别的样例作为正样例,不同类别的样本作为负样例可以将样本语句通过反向翻译得到的翻译语句作为目标样例的正样本,其他训练语料的语句作为负样本3:序列到序列模型的对比损失计算一般来说,对比学习都是在编原创 2022-04-03 20:27:12 · 807 阅读 · 0 评论 -
对抗训练及其代码实现
对抗训练及其代码实现1: fgm对于输入X, 正常训练得到梯度,然后给X的embeddings加一个扰动获得扰动后的梯度(扰动根据embedding的梯度计算得来),两个梯度相加更新模型。代码实现import torchclass FGM(): def __init__(self, model): self.model = model self.backup = {} def attack(self, epsilon=1., emb_name=原创 2022-04-03 16:57:28 · 3757 阅读 · 0 评论