- 博客(3)
- 收藏
- 关注
原创 文献阅读——MARKLLM:用于 LLM 水印的开源工具包
MARKLLM:用于 LLM 水印的开源工具包。框架:为实现 LLM 水印算法提供了一个统一且可扩展的框架,同时提供用户友好的界面以确保易于访问。可视化:通过支持这些算法的底层机制的自动可视化来增强理解。评估:提供了一套由 12 种工具组成的综合套件,涵盖三个视角,以及两种类型的自动化评估管道。目标:支持研究人员,同时提高公众对LLM水印技术的理解和参与,促进共识并推动研究和应用的进一步发展。
2024-08-02 11:14:55 1474
原创 文献阅读——结合对比学习与权重扰动在分类任务中为预训练大模型(PLM)添加水印
本论文在水印阶段采用对比学习,允许特定输入的表示与其他输入隔离,并在微调后映射到特定标签。证明通过将权重扰动与所提出的方法相结合,可以将水印嵌入到损失景观的更平坦区域,从而提高水印去除的鲁棒性。在多个数据集上的广泛实验表明,嵌入的水印可以在不了解下游任务的情况下稳健地提取,并且成功率很高。
2024-07-25 22:00:07 1713
原创 文献阅读——通过水印注入和验证的提示词版权保护
提示(prompt)在大模型的成功中起着至关重要的作用,它通过简单地在查询文本中预置一系列标记,有效地使预训练的 LLM 适应特定于任务的应用程序。在本文中提出了PromptCARE,这是第一个通过水印注入和验证进行提示词版权保护的框架。提示水印带来了独特的挑战,使得为模型和数据集版权验证而开发的现有水印技术无效。PromptCARE通过使用三种流行的预训练 LLM(BERT、RoBERTa 和 Facebook OPT-1.3b)在六个著名的基准数据集上进行了广泛的实验
2024-07-19 10:39:48 1460
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人