树环水印:Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust
高斯阴影水印:Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models
- 树环水印——Ring水印模式
表1 树环水印:Stable Diffusion模型下的CLIP结果
攻击方法 | 攻击程度 | CLIP Score (无水印) | 方差 | CLIP Score (有水印) | 方差 |
无攻击 | / | 0.3656 | 0.03228 | 0.369 | 0.03859 |
JPEG | QF=25 | 0.3656 | 0.03228 | 0.369 | 0.03859 |
旋转 | 75度 | 0.3656 | 0.03228 | 0.369 | 0.03859 |
剪裁 | 剪掉25% | 0.3656 | 0.03228 | 0.369 | 0.03859 |
高斯噪声 | 标准差0.1 | 0.3656 | 0.03228 | 0.369 | 0.03859 |
高斯模糊 | 平滑半径4 | 0.3656 | 0.03228 | 0.369 | 0.03859 |
亮度调整 | 增强6度 | 0.3656 | 0.03228 | 0.369 | 0.03859 |
注:CLIP Score:计算生成图像与其提示词之间匹配度的指标,越高越好。
结论:可以看到,加入树环水印后,CLIP的变化并不大,而且面对轻微攻击,CLIP值不受影响。但加入水印后图像确实发生了明显变化。
表2 树环水印Ring模式:Stable Diffusion模型下的AUC、ACC、TPR结果
攻击方法 | 攻击程度 | AUC | ACC | TPR@1%FPR |
无攻击 | / | 1 | 1 | 1 |
JPEG | QF=25 | 0.9996 | 0.99 | 0.98 |
旋转 | 75度 | 0.9588 | 0.91 | 0.56 |
剪裁 | 剪掉25% | 0.8968 | 0.85 | 0.58 |
高斯噪声 | 标准差0.1 | 0.9264 | 0.89 | 0.58 |
高斯模糊 | 平滑半径4 | 1 | 1 | 1 |
亮度调整 | 增强6度 | 0.9996 | 0.99 | 0.98 |
注1:TP:预测为正,实际为正;FP:预测为正,实际为负;
TN:预测为负,实际为负;FN:预测为负,实际为正;
可以看到四个数值加起来就是情况总数,而只有TP与TN是预测正确的情况,所以预测准确率ACC =(TP+TN) / (TP+TN+FP+FN)。
补充1:Recall召回率,也称为TPR:TP / (TP+FN),即所有正样本中,预测为
正的比例,例如测试集里面有100个正例,如果模型预测到了40个正例,那Recall就是40%。
补充2:FPR:与TPR同理,即所有负样本中,预测为正的比例。
补充3:Precision精度:TP / (TP+FP),即模型预测的所有正例中,预测的正确
率,例如模型一共预测了100个正例,其中80个是对的,那么Precision就是80%。
补充4:F1调和平均数,F1是召回率和精度的调和平均数,公式为:
注2:ROC曲线:纵轴为TPR,横轴为FPR,绘制出的曲线。一般情况下,曲线
都应该处于(0, 0)和(1, 1)连线的上方。AUC就是ROC曲线的面积,值在0~1之间,值越大说明FPR确定的情况下,TPR越高,模型越好
注3:树环水印中使用的指标TPR@1%FPR指的是当FPR=0.01时的TPR值。
注4:FID指标:计算真实图像和生成图像的特征之间的距离,通俗来说就是相
似度,越低代表越相似,模型生成能力越好。
树环水印的FID测试结果为:无水印FID为85.592。有水印FID为85.905
- 树环水印——Rand水印模式
Rand水印模式测试的CLIP Score与Ring模式类似,对于所有攻击其值保持不变,即攻击对于模型的图像生成能力影响很小。无水印时CLIP为0.3656,有水印时CLIP为0.3604。
表3 树环水印Rand模式:Stable Diffusion模型下的AUC、ACC、TPR结果
攻击方法 | 攻击程度 | AUC | ACC | TPR@1%FPR |
无攻击 | / | 1 | 1 | 1 |
JPEG | QF=25 | 1 | 1 | 1 |
旋转 | 75度 | 0.4452 | 0.51 | 0 (多次测试) |
剪裁 | 剪掉25% | 0.9418 | 0.89 | 0.62 |
高斯噪声 | 标准差0.1 | 0.9864 | 0.96 | 0.92 |
高斯模糊 | 平滑半径4 | 1 | 1 | 1 |
亮度调整 | 增强6度 | 1 | 1 | 1 |
- 树环水印——Zero水印模式
Zero水印模式测试的CLIP Score与Ring模式类似,对于所有攻击其值保持不变,即攻击对于模型的图像生成能力影响很小。无水印时CLIP为0.3656,有水印时CLIP为0.3656。
表4 树环水印Zero模式:Stable Diffusion模型下的AUC、ACC、TPR结果
攻击方法 | 攻击程度 | AUC | ACC | TPR@1%FPR |
无攻击 | / | 1 | 1 | 1 |
JPEG | QF=25 | 0.8246 | 0.76 | 0.22 |
旋转 | 75度 | 0.9954 | 0.97 | 0.94 |
剪裁 | 剪掉25% | 1 | 1 | 1 |
高斯噪声 | 标准差0.1 | 0.8412 | 0.79 | 0.5 |
高斯模糊 | 平滑半径4 | 0.978 | 0.94 | 0.76 |
亮度调整 | 增强6度 | 0.9488 | 0.9 | 0.58 |
综上3种模式,可以分析出它们的适合使用场景:
表5 树环水印三种模式适用攻击场景
攻击方法 | 攻击程度 | 水印模式 |
JPEG | QF=25 | Rand |
旋转 | 75度 | Zero |
剪裁 | 剪掉25% | Zero |
高斯噪声 | 标准差0.1 | Rand |
高斯模糊 | 平滑半径4 | Ring/Rand |
亮度调整 | 增强6度 | Ring/Rand |
- 高斯阴影水印
表6 高斯水印:Stable Diffusion模型下的ACC、两种TPR结果
攻击方法 | 攻击程度 | ACC | TPR_Detection | TPR_Traceability |
无攻击 | / | 1 | 1 | 1 |
JPEG | QF=25 | 0.9872 | 1 | 0.98 |
丢弃 | 20%置零 | 0.9592 | 1 | 0.98 |
剪裁 | 剪掉40% | 0.9748 | 1 | 1 |
高斯噪声 | 标准差0.05 | 0.9601 | 1 | 1 |
高斯模糊 | 平滑半径4 | 0.9787 | 1 | 1 |
亮度调整 | 增强6度 | 0.9448 | 0.96 | 0.94 |
中值滤波 | 窗口大小7 | 0.9974 | 1 | 1 |
椒盐噪声 | 5%变椒盐 | 0.9480 | 1 | 0.98 |
缩放 | 缩小至0.25 | 0.9947 | 1 | 1 |
注1:高斯阴影的CLIP Score值为0.3675,FID为85.4064,均为有水印情况。
注2:TPR_Detection是检测是否有水印,1bit;TPR_Traceability是溯源整个水
印,因此需要检测所有水印比特。
下面是4个对攻击较敏感的TPR和ACC折线图,分别是剪裁攻击、高斯噪声攻击、亮度攻击、椒盐噪声。