【论文阅读】【论文复现】Image Disentanglement Autoencoder for Steganography without Embedding（IDEAS）-CVPR-2022

已于 2024-03-12 15:41:44 修改
阅读量1.9k 收藏 25
点赞数 31
分类专栏： 图像隐写 论文阅读 文章标签： 论文阅读 embedding
于 2023-11-22 22:03:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40859587/article/details/134563263
版权

参考链接：

[CVPR 2022] 基于图像解耦生成的无嵌入隐写 - 知乎 这篇论文介绍的很好
信息隐藏|Image Disentanglement Autoencoder for Steganography without Embedding实现无嵌入隐写的 图像无纠缠自动隐写器
代码：https://github.com/Lemok00/IDEAS

无嵌入隐写（steganography without embedding, SWE）隐藏秘密信息的过程不会直接修改载体图像，因此具有免疫传统隐写分析器攻击的独特优势。

现有无嵌入隐写可以分为两类：

  1. 基于映射的SWE通过设计映射机制，将秘密信息转换为从现有图像集中选取的图像哈希序列，其关键缺陷在于载密容量很小；
  2. 基于生成的SWE提出训练生成对抗网络（generative adversarial networks，GANs）等深度生成网络，通过生成器将秘密信息转换为生成图像以隐藏秘密信息。

现有基于生成的SWE的三个问题：（1）生成的载密图像不够真实，影响对不可察觉性（imperceptibility）的要求；（2）生成器的生成多样性受限，可能引发潜在的安全问题；（3）秘密信息的提取准确率较低。

本文提出了一种基于生成的SWE方法——用于隐写术的图像解耦自动编码器IDEAS（Image DisEntanglement Autoencoder for Steganography）。通过将图像解耦为结构和纹理两种特征，IDEAS可以利用结构特征的稳定性提升秘密信息的提取准确率，同时利用随机采样纹理特征提升生成多样性，从而提高隐写的安全性。此外，作者还设计了一种自适应映射机制，在确保不同等级的提取要求的前提下，进一步增强合成图像的多样性。

在这里插入图片描述

本文提出的IDEAS网络的训练流程图，包括三个部分：(a)编码结构和纹理持征，(b)合成图像、©提取输入秘密张量。
解耦编码器 E，将图像解耦编码为结构张量和纹理向量两种特征；
生成器 G，根据结构张量和纹理向量生成真实图像；
结构生成器G_stru ，将均匀采样的秘密张量转换到结构特征空间，以隐藏秘密信息；
提取器Ex ，从编码的结构张量中进一步提取秘密张量；
图像判别器 D_real，预测输入图像为真实图像的概率；
纹理判别器D_co ，预测输入图像块和参考图像块来自同一图像的概率；
分布判别器D_dist ，预测输入向量来自特定分布的概率。

IDEAS的训练过程包含三部分：
（1）特征编码和生成（Feature encoding and generation）部分：训练编码器将参考图像解耦为结构特征和纹理特征，并通过分布判别器和判别损失强制纹理编码空间符合用于随机采样纹理的特定分布（[-1, 1]区间上的均匀分布），以及训练结构生成器将均匀采样的秘密张量转换到结构特征空间以隐藏秘密信息；
（2）图像生成（Image synthesis）部分：通过训练生成器根据不同的结构和纹理特征组合生成图像，并通过重建损失约束图像重建能力、通过纹理判别器约束生成图像的纹理相似度、通过图像判别器约束生成图像的真实度，从而实现高质量的图像解耦生成； 采用StyleGAN2作为backbone architecture
（3）秘密张量提取（Secret tensor extraction）：训练编码器从生成图像中恢复其原始结构特征，并训练提取器从提取的结构特征中提取秘密张量。

图2为IDEAS的秘密通信流程图，主要包括两个阶段：
（1）隐藏阶段（Hiding phase）用于秘密信息的发送，该阶段首先将秘密信息映射为秘密张量，然后使用结构生成器转换为结构特征并和随机采样的纹理特征一起输入生成器生成载密图像；
（2）提取阶段（Extraction phase）用于秘密信息的提取，该阶段首先使用编码器恢复载密图像的结构特征，然后使用提取器提取秘密张量，最后将秘密张量逆向映射为秘密信息。
在这里插入图片描述
为了提高安全性（合成风格多样性），作者设计了自适应的映射机制，根据映射参数的不同，IDEAS具有三种模式：（1）应对需要高提取准确率应用场景的提取优先模式；（2）平衡模式；（3）应对需要高安全性应场景的多样性优先模式。

重点关注安全性和提取准确性（这个一直是神经网络模型的弱点）

提取准确率在256bit和512bit时接近100% ，隐藏容量为256×σ(范围为1,2,3)×N(范围为1,2)

IDEAS生成的载密图像具有真实的结构、清晰的纹理和多样的风格，在生成图像质量和隐写安全性方面具有显著优势。

实验设置：

数据集： IDEAS和基线模型是在来自两个公开可用数据集的三个子集上进行训练的，分别是来自LSUN的卧室和教堂图像，以及来自FFHQ的人脸图像。每个子集包括70,000个随机选择的图像，归一化为256 × 256像素。

评价指标： 通过比较受试者工作特征(ROC)曲线下面积(AUC)和Frechet初始距离(FID)来评估模型，以衡量隐写分析工具和主观视觉感知的不可检测性。同时，我们比较了不同隐藏容量下IDEAS与基准SWE方法的秘密消息提取精度。IDEAS总共包含64.5M个参数，图像合成耗时12.0 ms，消息提取耗时9.4 ms。

容量在256bit~1536bit之间
在这里插入图片描述

代码复现

01 下载LSUN数据集

以下3种下载方式任选一种：
1）https://pan.baidu.com/s/17cf-7ZktjbmitZUzt9KJTg#list/path=%2F 提取码：gyl5 （开VIP速度很快）
2）http://dl.yf.io/lsun/scenes/
3）https://github.com/fyu/lsun 用脚本-c传场景参数
在这里插入图片描述

02 train

  1. 命令行python train的时候报错：OSError: /home/miniconda3/envs/IDEAS/lib/python3.7/site-packages/nvidia/cublas/lib/libcublas.so.11: undefined symbol: cublasLtGetStatusString, version libcublasLt.so.11
    原因： CUDA和nvidia版本不匹配 https://blog.csdn.net/bulucc/article/details/130406842
    解决方案： 添加报错的lib路径
  2. apt-get update时报错 E: 无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用) E: 无法获取 dpkg 前端锁 (/var/lib/dpkg/lock-frontend)，是否有其他进程正占用它？
    解决方案：https://blog.csdn.net/zjrwinner/article/details/131785246
    sudo rm /var/cache/apt/archives/lock
    sudo rm /var/lib/dpkg/lock
    如果还无法解决再输入：
    sudo dpkg --configure -a
    sudo rm /var/lib/dpkg/lock-frontend
  3. RuntimeError: Ninja is required to load C++ extensions
    解决方案： sudo apt-get install ninja-build
    pip3 install ninja

  1. sudo apt-get install ninja-build报错

    pkg: 依赖关系问题使得 ubuntu-drivers-common 的配置工作不能继续： 
ubuntu-drivers-common 依赖于 udev (>= 204-0ubuntu4~)；然而:软件包 udev 尚未配置。
dpkg: 处理软件包 ubuntu-drivers-common (--configure)时出错： 依赖关系问题 - 仍未被配置
dpkg: 依赖关系问题使得 update-notifier 的配置工作不能继续： 
update-notifier 依赖于 ubuntu-drivers-common；然而：软件包 ubuntu-drivers-common 尚未配置。

    解决方案： pip安装即可

    以下命令可能会导致系统错误，不建议使用（踩坑记录）
    1. 运行以下命令，重新配置udev软件包：
    sudo dpkg --configure udev
    如果该命令成功完成，则再次尝试配置ubuntu-drivers-common软件包。
    2. 如果第一种方法不起作用，您可以尝试运行以下命令以强制重新配置所有未配置的软件包：
    sudo dpkg --configure -a
    这将尝试重新配置所有具有未满足依赖项的软件包。
    3. 如果上述方法都没有解决问题，您可以尝试删除相关软件包并重新安装。运行以下命令来删除ubuntu-drivers-common和udev软件包：
    sudo apt-get remove ubuntu-drivers-common udev 我在这一步之后就可以安装ninja-build了
    然后运行以下命令重新安装这些软件包：
    sudo apt-get install ubuntu-drivers-common udev **

  2. ubuntu下安装ImageMagick7 参考这篇文章

排掉这些bug，就可以进行训练了
python train.py --exp_name NAME --dataset_type TYPE --dataset_path PATH --num_iters ITERS
训练结果：
在这里插入图片描述

岁月漫长_
关注
  • 31
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
机器学习+深度学习论文复现（垃圾版）.rar
01-04
机器视觉与模式识别+深度学习与大数据课程_大作业_课外研究报告+CVPR论文复现+垃圾版
NLP小白怎么自己复现一篇论文的代码
qq_47232769的博客
05-07 2949
小白复现代码基本流程
【传知代码】无监督目标检测最新CVPR解读（论文复现）
ztK63LrD的博客
06-01 813
今天我们介绍一篇CVPR2024的最新无监督三维目标检测的SOTA工作，这篇论文介绍了一种名为CommonsensePDetector（CPD）的方法，用于解决无监督三维目标检测中的挑战，可以点击论文地址进行查看，如下图所示：在当前的无监督三维目标检测方法中，通常采用基于聚类的伪标签生成和迭代式自训练过程。然而，由于激光雷达扫描的稀疏性，导致生成的伪标签存在尺寸和位置上的错误，从而影响了检测性能。
信息隐藏数字水印方法复现及论文整理.rar
06-02
适宜新手使用 包含多种数字水印方法实现 内附电子教科书和课件
【论文阅读】（CVPR 2022）Robust Invertible Image Steganography (RIIS)
小张同学的博客
03-01 1277
基于流的可逆块将输入的XsXh[X_s,X_h]Xs​Xh​映射到高频h_f和载体图像y中。CANP基于从y中提取的特征将h_f映射到（服从）类似高斯噪声分布的z变量。只有y通过互联网传输，然后接收方将得到失真的y′y'y′(为了输入方便，这里用y’代替图中y~)图像，通过特征增强模块以消除噪声和jpeg压缩的影响，随后从y′y'y′中提取的特征和重新采样后经过CANP模块的z′z'z′和hf′h_f'hf′​，与增强的容器y′y'y′。
【论文阅读】RoSteALS: Robust Steganography using Autoencoder Latent Space-2023-CVPR
小张同学的博客
12-14 1357
RoSteALS使用一个轻量级的秘密编码器将秘密信息映射到图像的潜空间中，并通过对潜空间进行微小的偏移来嵌入秘密信息。该方法使用预训练的自编码器作为基础模型，不需要学习图像分布，因此训练过程简单且效果良好。
信息隐藏 时空域 论文复现 基于覆盖图像的MSB的无编码信息隐藏方法
qq_44465615的博客
04-08 621
本文提出了一种基于覆盖图像的MSB的无编码信息隐藏方法。 首先，发送者将封面图像分割成许多相同大小的片段。大小为Fw*Fh。 其次，发送方求每段像素均值。 第三，将秘密信息转换为二进制位。 第四，根据发送方和接收方决定的映射序列(Km)，用图像片段的MSB映射秘密信息。 映射的结果是获取映射标志(Kf)，然后通过普通通道与引导图像一起发送到接收器。接收器可以使用Km和Kf正确地从stego图像中提取秘密信息。 提出方法： CIHMSB方法的目的是为了传输文本信息。 在通信之前，发送方和接收方需要事先决定
论文简述附复现代码《基于自适应哈夫曼编码的密文可逆信息隐藏算法》（基于位图压缩的加密图像可逆信息隐藏算法）
当年月明的博客
04-06 1092
《基于自适应哈夫曼编码的密文可逆信息隐藏算法》论文简述，内附附复现代码。论文基本思路是用哈夫曼编码和中值预测器压缩位图，在嵌入位图后利用剩余空间进行信息嵌入。
基于像素预测和位平面压缩的加密图像可逆数据隐藏附matlab代码（论文复现）
qq_59747472的博客
11-12 493
密文域可逆信息隐藏（RDHEI）受到越来越多的关注，因为它可以保护原始图像的内容，同时可以准确地提取嵌入的数据，并且可以无损地重建原始图像。为了充分利用相邻像素的相关性，本文提出了一种基于像素预测和位平面压缩的RDHEI方案。首先，将原始图像分成相等大小的块，并计算原始图像的预测误差。然后，分别执行8个预测误差的位平面的重排和位流压缩。最后，通过流密码对腾出空间后的图像进行加密，并通过多LSB（最低有效位）替换将附加数据嵌入到腾出的空间中。实验结果表明，该方法的嵌入能力优于现有方法。
LSTM-based Stacked Autoencoder for Multivariate time Series forecasting.pdf
03-31
Unsupervised pre-training of a Deep LSTM-based Stacked Autoencoder for Multivariate time Series forecasting problems Alaa Sagheer
Taxonomy-aware collaborative denoising autoencoder for personalized recommendation
02-08
Taxonomy-aware collaborative denoising autoencoder for personalized recommendation
人工智能-自编码器-autoencoder-生成MNIST数据-variational-autoencoder-master
03-16
标题中的“人工智能-自编码器-autoencoder-生成MNIST数据-variational-autoencoder-master”揭示了这个项目的核心内容，即利用变分自编码器（Variational Autoencoder, VAE）来生成MNIST手写数字数据集。这涉及到...
Disentangled_Variational_Autoencoder:VAE 和 beta-VAE 的 PyTorch 实现
05-29
PyTorch 实现的论文 团队成员： 安德烈亚斯·斯帕诺普洛斯 ( ) Demetrios Konstantinidis ( ) 存储库结构 目录包含我们迄今为止创建的模型。 一路上还会有更多。 python脚本是主要的可执行文件。 目录包含可用于...
time-series-autoencoder:Pytorch双注意LSTM自动编码器，用于多元时间序列预测
05-01
下载和依赖项要克隆存储库，请运行： git clone https://github.com/JulesBelveze/time-series-autoencoder.git要安装所有必需的依赖项，请运行： pip install -r requirements.txt用法python main.py [-h] [--batch...
COD论文笔记 Deep Gradient Learning for Efficient Camouflaged 2022
最新发布
985小菜鸡
07-19 551
特征分组与重组：通过分组和重组策略，将上下文和纹理特征有效结合。软分组策略：通过多尺度的非线性投影，增强特征表示能力。并行残差学习：在不同尺度上进行残差学习，进一步提升特征融合效果。综上所述，梯度诱导过渡模块（GIT）通过灵活的特征分组、软分组策略和并行残差学习，实现了上下文特征和纹理特征的高效融合，从而提高了伪装目标检测的性能。解码器设计：通过NCD解码器实现上下文特征的有效利用，生成高质量的分割预测。损失函数：组合加权交并比损失和加权二值交叉熵损失，增强模型对全局结构和难度较大像素的关注；
【论文阅读】MCTformer+:弱监督语义分割的多类令牌转换器
川川自溢的博客
07-16 909
【论文阅读】MCTformer+:弱监督语义分割的多类令牌转换器
【论文阅读】（StemGNN）多元时间序列预测的谱时间图神经网络
kanon的博客
07-17 1016
论文提出了一种新型的深度学习模型StemGNN，用于提高多变量时间序列预测的准确性。论文将多变量时间序列预测问题定义为基于多变量时间图（multivariate temporal graph）的数据结构。StemGNN在频谱域中同时捕获时间序列内部和序列间的相关性。模型结合了图傅里叶变换（GFT）和离散傅里叶变换（DFT），并在端到端框架中使用卷积和序列学习模块进行有效预测。实验在十个真实世界的数据集上进行，证明了StemGNN的有效性。
【多模态学习笔记二】MINIGPT-4论文阅读
Jeremy_lf的博客
07-16 847
提出的。我们的工作首次揭示，将视觉特征与先进的大型语言模型正确对齐可以具有GPT-4所展示的许多先进的多模态能力，例如从手绘草稿生成详细的图像描述和创建网站。在我们的实验中，我们发现，（例如重复和片段化）。为了解决这个问题，我们在第二阶段使用了一个详细的图像描述数据集来微调模型，从而提高了模型的生成可靠性和整体可用性。MiniGPT-4添加了一个 single projection layer，将编码的视觉特征与Vicuna语言模型对齐，并冻结所有其他视觉和语言组件。
[论文笔记] CT数据配比方法论——1、Motivation
心宝的博客
07-18 307
1、探测原有模型的配比： 配比 与 ppl, loss, bpw，benchmark指标之间的关系。2、效果稳定的配比：配比 与 模型效果 之间的规律。
网络安全漏洞复现kali
08-16
你可以通过以下步骤在Kali Linux上复现网络安全漏洞： 1. 安装Kali Linux：首先，从Kali Linux官方网站上下载并安装Kali Linux的最新版本。确保你的系统满足硬件要求，并按照官方指南进行安装。 2. 更新系统：安装完成后，打开终端并使用以下命令更新系统软件包： ``` sudo apt update sudo apt upgrade ``` 3. 选择漏洞和工具：根据你想要复现的具体漏洞，选择合适的工具。例如，如果你想复现Web应用程序的漏洞，可以使用Burp Suite或OWASP ZAP来进行渗透测试。 4. 设置实验环境：在复现漏洞之前，建议你在虚拟环境中设置一个实验环境。你可以使用虚拟机软件（如VirtualBox）创建一个虚拟机，并在其中安装你想要测试的目标应用程序。 5. 扫描目标：使用选定的工具对目标应用程序进行扫描，以寻找可能的漏洞。这些工具通常提供了各种扫描和攻击功能，可以帮助你发现潜在的漏洞。 6. 复现漏洞：一旦你找到了漏洞，你可以使用相应的工具和技术来尝试复现它。这可能涉及到发送特定的请求、利用漏洞或执行其他攻击方法。 7. 记录结果：在复现漏洞的过程中，务必详细记录你的操作和结果。这对于后续的分析和报告非常重要。 请注意，在进行任何网络安全测试之前，确保你已经获得了合法的授权，并遵守适用的法律和道德准则。此外，仅在你拥有合适的技术知识和经验的情况下进行漏洞复现，以避免对目标系统造成不必要的损害。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

岁月漫长_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值