- 博客(4)
- 收藏
- 关注
RSS订阅原创 论文阅读（4）Watermarking PLMs on Classification Tasks by Combining Contrastive Learning with Weight ……
然而，通过初步实验发现，该方法注入的水印在微调后容易失效（Fig. 2c），不适用于模型水印。通过嵌入可以由特定输入触发的后门来研究在 PLM 中嵌入水印的可行性。作者在水印阶段使用对比学习，允许特定输入的表示与其他输入分离，并在微调后映射到特定标签。相关工作证明，在不知道下游数据集的情况下，向 PLM 注入后门是有可能的。因此，作者们在预训练阶段引入了对比学习损失，使恶意样本远离嵌入空间的良性样本（Fig. 2c）。（例如，全 1 向量），并在预训练阶段使用以下损失来最小化该向量与恶意句子。
2024-01-26 20:04:05
763
原创 论文阅读（3）AWEncoder: Adversarial Watermarking Pre-Trained Encoders in Contrastive Learning
我们关心的是嵌入水印后的分布与原始分布的一致性，是单向考虑的。因为 KL 散度强调的是某个分布相对于另一个分布的信息增益，而 JS 散度则是对称地测量两个分布之间的差异。，我们关心的是嵌入的水印与提取水印之间的相似性，是对称考虑的。不同图像导致不同的对抗性图像退化，但视觉质量还令人满意。利用这种扰动，可以有效地将扰动图像聚类到嵌入空间的关键图像。：为什么水印嵌入使用 KL 散度，而水印验证使用 JS 散度？和对应的对抗样本之间的平均 JS 散度来进行相似性分析。的输出用于水印验证。是通过反向传播生成的。
2024-01-25 16:45:21
1278
原创 论文阅读（2）Watermarking Pre-trained Encoders in Contrastive Learning
引入一个与任务无关的损失函数来微调水印嵌入模型，使得使用带有触发器的样本（即验证样本）输出与普通编码器的输出有很大的偏差。：通过最大化编码器输出差异，可以以非常高的概率最大化下游模型的输出（即标签）的差异。：编码器所有者对下游任务一无所知，并且旨在保护从他的预训练编码器开发的任何模型的知识产权。：为了进一步增强编码器水印的鲁棒性，作者提出在水印嵌入过程中采用 dropout 的方法。的输出特征相近，来保持下游模型在干净样本上的预测精度。表一表明水印可以有效地嵌入干净的预训练编码器中，并且具有很高的独特性。
2024-01-25 06:08:50
1222
原创 论文阅读（1）Adding Conditional Control to Text-to-Image Diffusion Models
记录 ControlNet 的论文阅读摘要
2024-01-18 17:25:22
1160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人