树环水印与高斯阴影水印结果分析

树环水印:Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

高斯阴影水印:Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models

  • 树环水印——Ring水印模式

表1 树环水印:Stable Diffusion模型下的CLIP结果

攻击方法

攻击程度

CLIP Score

(无水印)

方差

CLIP Score

(有水印)

方差

无攻击

/

0.3656

0.03228

0.369

0.03859

JPEG

QF=25

0.3656

0.03228

0.369

0.03859

旋转

75度

0.3656

0.03228

0.369

0.03859

剪裁

剪掉25%

0.3656

0.03228

0.369

0.03859

高斯噪声

标准差0.1

0.3656

0.03228

0.369

0.03859

高斯模糊

平滑半径4

0.3656

0.03228

0.369

0.03859

亮度调整

增强6度

0.3656

0.03228

0.369

0.03859

注:CLIP Score:计算生成图像与其提示词之间匹配度的指标,越高越好。

结论:可以看到,加入树环水印后,CLIP的变化并不大,而且面对轻微攻击,CLIP值不受影响。但加入水印后图像确实发生了明显变化。

                           

                           

表2 树环水印Ring模式:Stable Diffusion模型下的AUC、ACC、TPR结果

攻击方法

攻击程度

AUC

ACC

TPR@1%FPR

无攻击

/

1

1

1

JPEG

QF=25

0.9996

0.99

0.98

旋转

75度

0.9588

0.91

0.56

剪裁

剪掉25%

0.8968

0.85

0.58

高斯噪声

标准差0.1

0.9264

0.89

0.58

高斯模糊

平滑半径4

1

1

1

亮度调整

增强6度

0.9996

0.99

0.98

注1TP:预测为正,实际为正;FP:预测为正,实际为负;

TN:预测为负,实际为负;FN:预测为负,实际为正;

可以看到四个数值加起来就是情况总数,而只有TP与TN是预测正确的情况,所以预测准确率ACC =(TP+TN) / (TP+TN+FP+FN)。

补充1Recall召回率,也称为TPRTP / (TP+FN),即所有正样本中,预测为

正的比例,例如测试集里面有100个正例,如果模型预测到了40个正例,那Recall就是40%。

补充2FPR:与TPR同理,即所有负样本中,预测为正的比例。

补充3Precision精度:TP / (TP+FP),即模型预测的所有正例中,预测的正确

率,例如模型一共预测了100个正例,其中80个是对的,那么Precision就是80%。

补充4F1调和平均数,F1是召回率和精度的调和平均数,公式为:

注2ROC曲线:纵轴为TPR,横轴为FPR,绘制出的曲线。一般情况下,曲线

都应该处于(0, 0)和(1, 1)连线的上方。AUC就是ROC曲线的面积,值在0~1之间,值越大说明FPR确定的情况下,TPR越高,模型越好

注3树环水印中使用的指标TPR@1%FPR指的是FPR=0.01时的TPR值。

注4FID指标:计算真实图像和生成图像的特征之间的距离,通俗来说就是相

似度,越低代表越相似,模型生成能力越好。

树环水印的FID测试结果为:无水印FID为85.592。有水印FID为85.905

  • 树环水印——Rand水印模式

Rand水印模式测试的CLIP Score与Ring模式类似,对于所有攻击其值保持不变,即攻击对于模型的图像生成能力影响很小。无水印时CLIP0.3656,有水印时CLIP0.3604

表3 树环水印Rand模式:Stable Diffusion模型下的AUC、ACC、TPR结果

攻击方法

攻击程度

AUC

ACC

TPR@1%FPR

无攻击

/

1

1

1

JPEG

QF=25

1

1

1

旋转

75度

0.4452

0.51

0 (多次测试)

剪裁

剪掉25%

0.9418

0.89

0.62

高斯噪声

标准差0.1

0.9864

0.96

0.92

高斯模糊

平滑半径4

1

1

1

亮度调整

增强6度

1

1

1

  • 树环水印——Zero水印模式

Zero水印模式测试的CLIP Score与Ring模式类似,对于所有攻击其值保持不变,即攻击对于模型的图像生成能力影响很小。无水印时CLIP0.3656,有水印时CLIP0.3656

表4 树环水印Zero模式:Stable Diffusion模型下的AUC、ACC、TPR结果

攻击方法

攻击程度

AUC

ACC

TPR@1%FPR

无攻击

/

1

1

1

JPEG

QF=25

0.8246

0.76

0.22

旋转

75度

0.9954

0.97

0.94

剪裁

剪掉25%

1

1

1

高斯噪声

标准差0.1

0.8412

0.79

0.5

高斯模糊

平滑半径4

0.978

0.94

0.76

亮度调整

增强6度

0.9488

0.9

0.58

综上3种模式,可以分析出它们的适合使用场景:

表5 树环水印三种模式适用攻击场景

攻击方法

攻击程度

水印模式

JPEG

QF=25

Rand

旋转

75度

Zero

剪裁

剪掉25%

Zero

高斯噪声

标准差0.1

Rand

高斯模糊

平滑半径4

Ring/Rand

亮度调整

增强6度

Ring/Rand

  • 高斯阴影水印

表6 高斯水印:Stable Diffusion模型下的ACC、两种TPR结果

攻击方法

攻击程度

ACC

TPR_Detection

TPR_Traceability

无攻击

/

1

1

1

JPEG

QF=25

0.9872

1

0.98

丢弃

20%置零

0.9592

1

0.98

剪裁

剪掉40%

0.9748

1

1

高斯噪声

标准差0.05

0.9601

1

1

高斯模糊

平滑半径4

0.9787

1

1

亮度调整

增强6度

0.9448

0.96

0.94

中值滤波

窗口大小7

0.9974

1

1

椒盐噪声

5%变椒盐

0.9480

1

0.98

缩放

缩小至0.25

0.9947

1

1

注1:高斯阴影的CLIP Score值为0.3675,FID为85.4064,均为有水印情况。

注2:TPR_Detection是检测是否有水印,1bitTPR_Traceability是溯源整个水

印,因此需要检测所有水印比特。

下面是4个对攻击较敏感的TPR和ACC折线图,分别是剪裁攻击、高斯噪声攻击、亮度攻击、椒盐噪声。

 

 

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有趣di

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值