Example-based算法

Example-based算法

简介

基于样例（Example-based）的超分辨率重建方法作为首个基于学习的单图像超分辨算法，由Freeman首次提出。通过运用机器学习相关算法训练数据集，学习得到LR和HR之间的关系，搜索得到与LR最佳匹配的HR，从而达到超分辨重建的目的。

训练集

HR图像——degrade（退化处理）——>LR图像——cubic spline/bilinear interpolation（三次样条/双线性插值）——>HR’图像

HR、HR’预处理（带通滤波和对比归一化图像对）——>以image patch形式存储图像信息

算法

作者发现单独考虑局部图像块信息是不充分的，需要考虑空间邻里效应。提出两种方法，第二种方法是在第一种方法的基础上加以改进的。

Markov network

简单理解就是选择使得以下概率最大的$x$。
$$P(x|y)=\frac{1}{Z}\prod _{(ij)}{\psi }_{ij}(x_i,x_j){\varphi }_i(x_i,y_i)$$
为保证重叠区域兼容的相邻面片的像素值应一致，相邻候选块 $x_i$，$x_j$ 之间的势能量函数 ${\psi }_{ij}(x_i,x_j)$ 如下定义。其中，$d_{ij}(x_i,x_j)$ 表示在节点 $i$ 和 $j$ 的重叠区域中，候选图像块 $x_i$, $x_j$ 之间的平方差之和。低分辨图像块 $y_i$ 和候选图像块 $x_i$ 对应的低分辨率图像之间的似然函数为 ${\varphi }_i(x_i,y_i)$ ，用二次惩罚项定义二者差别。
$${\psi }_{ij}(x_i,x_j)=exp(-\frac{d_{ij}(x_i,x_j)}{2{\sigma }^2})$$
为使得该方法计算可行，采用置信传播（BP, Belief Propagation）从候选样本图像块中挑选出最佳图像块。详细步骤参见另一篇博客，消息传播信息公式为：
$$m_{ij}(x_j)=\sum _{x_i}{\psi }_{ij}(x_i,x_j)\prod _{k\ne i}{m}_{ki}(x_i){\varphi }_i(x_i,y_i)$$
$x_i$的边际概率为：
$$b_i(x_i)=\prod _k{m}_{ki}(x_i){\varphi }_i(x_i,y_i)$$
在该问题中，传入的消息尺寸为16维（选择相近的16个高分辨图像块），即对每个高分辨候选图像块，可能都需要计算一次。因此，在此基础上提出一种更快捷的方法。

One-pass algorithm

仅针对已选择的相邻高分辨率图像块计算其势能函数，通过低频信息相一致来找出最相近的高分辨图像块，之后确保相匹配的高分辨率图像的高频信息与相邻图像块边缘的一致性。具体流程如下：

该方法的思想与Markov network是相类似的，只是该方法不需要对所有待选高分辨图像块都计算其势能函数，降低了计算的时间负杂度，预测结果和Markov network的结果也相近似。

以上属个人理解，有不正确之处敬请指正！