Solving Inverse Problems With Deep Neural Networks

Solving Inverse Problems With Deep Neural Networks - Robustness Included

• 作者：Martin Genzel, Jan Macdonald, and Maximilian M¨arz
• 期刊：preprint arXiv
• 时间：2020
• 代码链接：代码
• 论文链接：论文

1 动机与研究内容

• 最近工作发现深度神经网络对于图像重构的不稳定(instabilities)，以及分类中的对抗攻击，在输入域发生微小改变时就会造成输出非常大的改变。
• 本篇论文对深度神经网络解决欠定(underdetermined)的逆问题的鲁棒性(robustness)进行了研究。研究内容包括用Guassian measurement的压感(compressed sening)以及通过Founier and Radon measurement的图像恢复，
• 实验结果表示标准的端到端(end-to-end)的网络结构不仅对噪音有弹性，而且对对抗扰动也有弹性(resilient)。

2 问题背景

• 通过间接的方法实现信号重构(signal reconstruction)在各种应用中具有重要作用，这样的任务呗称作逆问题

（1）

• 数据的获取通常costly，所以undetermined regime($m\ll N$)受到了广泛的研究，这样的重构问题叫做ill-posed inverse problem
• compressed sensing已经证明解决重构问题有着准确性以及鲁棒性的优点，该方法有一个映射Rec ${\mathbb{R}}^m\to {\mathbb{R}}^N$，使得（1）满足一个错误边界：

${\Vert {\mathbf{x}}_0-\mathrm{Rec}(\mathbf{y})\Vert }_2\le C\cdot \eta$（2）
但是在real world，受到计算cost、人工调参、以及测量数据与真实数据的mismatch

• 现在神经网络的方法来实现重构，利用有监督的样本训练实现重构，需要大量样本训练。由于不能满足（2）的理论保证，其准确性和抗测量噪声的鲁棒性的经验验证是至关重要的
• 研究robust against noise具有重要意义。

3 本文方法

３.１　Neural Network Architectures

UNet：${\mathbb{R}}^m\to {\mathbb{R}}^N,\mathbf{y}\mapsto \left[\mathcal{U}\circ {\mathcal{A}}^{†}\right](\mathbf{y})$

• $\text{ TiraFL: }{\mathbb{R}}^m\to {\mathbb{R}}^N,\mathbf{y}\mapsto [\mathcal{T}\circ \mathcal{L}](\mathbf{y})$
• $\text{ ItNet: }{\mathbb{R}}^m\to {\mathbb{R}}^N,\mathbf{y}\mapsto \left[\left({◯}_{k=1}^K\left[\mathcal{D}{\mathcal{C}}_{{\lambda }_k,\mathbf{y},\mathcal{A}}\circ \mathcal{U}\right]\right)\circ {\mathcal{A}}^{†}\right](\mathbf{y})$

其中，$\mathcal{D}{\mathcal{C}}_{{\lambda }_k,\mathbf{y},\mathcal{A}}:{\mathbb{R}}^N\to {\mathbb{R}}^N,\mathbf{x}\mapsto \mathbf{x}-{\lambda }_k\cdot {\mathcal{A}}^{\ast }(\mathcal{A}\mathbf{x}-\mathbf{y})$

３.２　Total-Variation Minimization

Total variation (TV) minimization是一种求解信号和图像重构任务的方法，解决（１）的以下列的形式：

$\begin{array}{rl}\mathrm{T}\mathrm{V}[\eta ]:{\mathbb{R}}^m& \to {\mathbb{R}}^N\\ \mathbf{y}& \mapsto \underset{\mathbf{x}\in {\mathbb{R}}^N}{\mathrm{argmin}}\Vert \nabla \mathbf{x}{\Vert }_1\text{ s.t. }\Vert \mathcal{A}\mathbf{x}-\mathbf{y}{\Vert }_2\le \eta \end{array}$

３.３　Adversarial Noise

${\mathbf{e}}_{\mathrm{a}\mathrm{d}\mathrm{v}}=\underset{\mathbf{e}\in {\mathbb{R}}^m}{\mathrm{argmax}}{\Vert \mathrm{Rec}\left({\mathbf{y}}_0+\mathbf{e}\right)-{\mathbf{x}}_0\Vert }_2\text{ s.t. }\Vert \mathbf{e}{\Vert }_2\le \eta$

4 总结

• 所有训练的NNs对噪音数据都具有明显的鲁棒性
• 提高在迭代策略中数据的一致性(consistency)可能提高准确性和鲁棒性
• 不应该仅仅使用无噪声的数据进行训练，论文中也揭示了仅仅简单的添加白高斯噪音也是一种有效策略（一种正则化的方法）
• 核心：分类任务中对抗性例子的存在不会自然地影响到基于NN的反问题求解器。这样的重建方案不仅可以取代传统的方法，成为最先进的，但他们也显示了类似程度的鲁棒性

5 相关工作

• 现在许多现有文章是关注于分类和相关任务，少数文献研究明确解决了逆问题中的学习求解器的对抗鲁棒性
• Huang等首次将对抗性攻击迁移到基于神经网络的重构方法，他们最初的发现局限于有限角度计算机断层摄影的特定问题，在特定问题中图像的某些部分被证明是不可能有robust recovery