利用先验知识来约束和引导图像重建过程

一、低秩约束的图像非盲去模糊

论文题目：Deep Non-Blind Deconvolution via Generalized Low-Rank Approximation

1、退化过程

非盲去模糊为模糊核已知。退化过程可以表示为：

其中x表示target，k表示模糊核，y为退化的模糊图像。
转到频域可以表示为：

2、非盲去模糊

去模糊的过程，实际是在求模糊核k的伪逆矩阵k*。


如图所示，当模糊核为15x15时，伪逆矩阵为150x150，甚至更大，这样会导致计算量非常的大。对于这个大矩阵，利用SVD进行分解，得到特征向量和特征矩阵。
但是对于含有多个模糊核的退化退化图像来说，不同的伪逆矩阵拥有不同的特征向量和特征矩阵，所以利用广义低秩矩阵分解（kp表示多个模糊核）：

大规模点扩散函数张量的低秩先验：

利用大规模点扩散函数张量的低秩先验约束网络参数（参数初始化）:

从上图可以看到，网络的前三层实际是模拟了左特征向量、特征矩阵和右特征向量的运算，由于模糊核已知，所以伪逆矩阵所对应的特征向量和特征矩阵是已知的，利用这些数据，作为前三层网络的初始化参数，从而将低秩先验加入到深度模型中。

3、实验结果

可以看出，右先验约束，特征图的模糊减少。

二、三维结构约束的人脸图像去模糊

论文：Face Video Deblurring using 3D Facial Priors(ICCV2019)

1、人脸先验引导人脸重建任务的相关工作：

（1）利用边缘先验引导人脸重建：
缺点：只能检测出大的轮廓，对于一些城西街轮廓效果较差
（2）利用语义信息来引导人脸重建

缺点：得到的是区域信息，对于关键的边缘信息仍然无法检测到

2、利用三维人脸重建算法生成清晰的人脸引导图

（1）3DMM人脸重建算法

3DMM算法可以利用人脸的身份信息，纹理信息，姿态信息等来生成一幅边缘锐化，清晰的人脸图像（尽管输入人脸是模糊的，也能得到清晰地重建人脸）。
（2）模型总体流程图

从图中可以看出，模型总体分两部分：3D人脸重建和Unet网络去模糊，具体算法流程为：

• 训练resnet50，得到人脸的关键信息（姿态，纹理，关照等），利用公式加权得到3维人脸重建结果。训练过程算是函数为：

• 将重建的清晰人脸直接concat到输入，同时将学习到的纹理、姿态光照等先验信息也concat到中间层，这样就将先验知识融入到深度网路中去。

3、实验结果

三、三维结构约束的人脸图像超分辨率

实验结果：