论文阅读系列
文章平均质量分 95
父子文
这个作者很懒,什么都没留下…
展开
-
论文阅读(4)Watermarking PLMs on Classification Tasks by Combining Contrastive Learning with Weight ……
然而,通过初步实验发现,该方法注入的水印在微调后容易失效(Fig. 2c),不适用于模型水印。通过嵌入可以由特定输入触发的后门来研究在 PLM 中嵌入水印的可行性。作者在水印阶段使用对比学习,允许特定输入的表示与其他输入分离,并在微调后映射到特定标签。相关工作证明,在不知道下游数据集的情况下,向 PLM 注入后门是有可能的。因此,作者们在预训练阶段引入了对比学习损失,使恶意样本远离嵌入空间的良性样本(Fig. 2c)。(例如,全 1 向量),并在预训练阶段使用以下损失来最小化该向量与恶意句子。原创 2024-01-26 20:04:05 · 781 阅读 · 0 评论 -
论文阅读(3)AWEncoder: Adversarial Watermarking Pre-Trained Encoders in Contrastive Learning
我们关心的是嵌入水印后的分布与原始分布的一致性,是单向考虑的。因为 KL 散度强调的是某个分布相对于另一个分布的信息增益,而 JS 散度则是对称地测量两个分布之间的差异。,我们关心的是嵌入的水印与提取水印之间的相似性,是对称考虑的。不同图像导致不同的对抗性图像退化,但视觉质量还令人满意。利用这种扰动,可以有效地将扰动图像聚类到嵌入空间的关键图像。:为什么水印嵌入使用 KL 散度,而水印验证使用 JS 散度?和对应的对抗样本之间的平均 JS 散度来进行相似性分析。的输出用于水印验证。是通过反向传播生成的。原创 2024-01-25 16:45:21 · 1307 阅读 · 0 评论 -
论文阅读(2)Watermarking Pre-trained Encoders in Contrastive Learning
引入一个与任务无关的损失函数来微调水印嵌入模型,使得使用带有触发器的样本(即验证样本)输出与普通编码器的输出有很大的偏差。:通过最大化编码器输出差异,可以以非常高的概率最大化下游模型的输出(即标签)的差异。:编码器所有者对下游任务一无所知,并且旨在保护从他的预训练编码器开发的任何模型的知识产权。:为了进一步增强编码器水印的鲁棒性,作者提出在水印嵌入过程中采用 dropout 的方法。的输出特征相近,来保持下游模型在干净样本上的预测精度。表一表明水印可以有效地嵌入干净的预训练编码器中,并且具有很高的独特性。原创 2024-01-25 06:08:50 · 1234 阅读 · 0 评论 -
论文阅读(1)Adding Conditional Control to Text-to-Image Diffusion Models
记录 ControlNet 的论文阅读摘要原创 2024-01-18 17:25:22 · 1216 阅读 · 0 评论