超分辨率重建的传统方法

1 基于插值的方法

最邻近插值：放大后灰度值等于最邻近像素。选取离待插值点最近的点的像素值作为待插值点的像素值。最近邻插值方法直接使用位置最近的像素填充缺失像素，所以会出现小方块（锯齿）效应。

import numpy as np
from PIL import Image
import matplotlib.pyplot as plt
import math
def nearest_interpolation(img,dstH,dstW):
    sctH,sctW,_=img.shape
    retimg=np.zeros((dstH,dstW,3),dtype=np.uint8)
    for i in range(dstH-1):
        for j in range(dstW-1):
            scrx=round(i*(sctH/dstH))
            scry=round(j*(sctW/dstW))
            retimg[i,j]=img[scrx,scry]
    return retimg

im_path='butterfly.bmp'
image=np.array(Image.open(im_path))

image1=nearest_interpolation(image,image.shape[0]*2,image.shape[1]*2)
image1=Image.fromarray(image1.astype('uint8')).convert('RGB')
image1.save('out.bmp')

双线性插值：中心点四邻域像素线性内插。

from PIL import Image
import matplotlib.pyplot as plt
import numpy as np
import math
def BiLinear_interpolation(img,dstH,dstW):
    scrH,scrW,_=img.shape
    img=np.pad(img,((0,1),(0,1),(0,0)),'constant')
    retimg=np.zeros((dstH,dstW,3),dtype=np.uint8)
    for i in range(dstH):
        for j in range(dstW):
            scrx=(i+1)*(scrH/dstH)-1
            scry=(j+1)*(scrW/dstW)-1
            x=math.floor(scrx)
            y=math.floor(scry)
            u=scrx-x
            v=scry-y
            retimg[i,j]=(1-u)*(1-v)*img[x,y]+u*(1-v)*img[x+1,y]+(1-u)*v*img[x,y+1]+u*v*img[x+1,y+1]
    return retimg
im_path= 'butterfly.bmp'
image=np.array(Image.open(im_path))
image2=BiLinear_interpolation(image,image.shape[0]*2,image.shape[1]*2)
image2=Image.fromarray(image2.astype('uint8')).convert('RGB')
image2.save('out3.bmp')

双三次插值：16个相邻点进行三次插值。双三次插值通过矩形网络中最近的16个采样点的加权平均得到，需要使用两个多项式插值三次函数，每个方向使用一个。双三次插值方法计算量比较大，但效果相对较好。

from PIL import Image
import numpy as np
import math

# 产生16个像素点不同的权重
def BiBubic(x):
    x=abs(x)
    if x<=1:
        return 1-2*(x**2)+(x**3)
    elif x<2:
        return 4-8*x+5*(x**2)-(x**3)
    else:
        return 0

# 双三次插值算法
# dstH为目标图像的高，dstW为目标图像的宽
def BiCubic_interpolation(img,dstH,dstW):
    scrH,scrW,_=img.shape
    #img=np.pad(img,((1,3),(1,3),(0,0)),'constant')
    retimg=np.zeros((dstH,dstW,3),dtype=np.uint8)
    for i in range(dstH):
        for j in range(dstW):
            scrx=i*(scrH/dstH)
            scry=j*(scrW/dstW)
            x=math.floor(scrx)
            y=math.floor(scry)
            u=scrx-x
            v=scry-y
            tmp=0
            for ii in range(-1,2):
                for jj in range(-1,2):
                    if x+ii<0 or y+jj<0 or x+ii>=scrH or y+jj>=scrW:
                        continue
                    tmp+=img[x+ii,y+jj]*BiBubic(ii-u)*BiBubic(jj-v)
            retimg[i,j]=np.clip(tmp,0,255)
    return retimg

im_path='butterfly.bmp'
image=np.array(Image.open(im_path))
image2=BiCubic_interpolation(image,image.shape[0]*2,image.shape[1]*2)
image2=Image.fromarray(image2.astype('uint8')).convert('RGB')
image2.save('out4.bmp')

优缺点：插值速度快，但在图像边缘、纹理处理效果较差

2 基于重构的方法

依托概率论和集合论，利用LR图像和先验知识建立优化求解模型。首先计算图像局部或全局先验知识，构造LR和HR的映射，然后建立LR约束条件，并对图像先验进行正则化处理，最后求解模型。分为两大类：频域和空域方法
在傅里叶变换域内由多帧图像恢复出额外高频信息的超分辨重构，以提高频域的图像分辨率。但是该方法忽略了图像中的运动模糊、扩散现象和其他噪声等问题，因此只适用于理想情况，当噪声较复杂时无法达到相同的效果。因
此，一些与消除图像噪声等相关的研究算法相继被提出，通过递归最小二乘法、离散余弦变换和小波变换等方法改善了 SR 图像效果。
空域法通过添加光学模糊和运动模糊等方法，对造成图像质量降低的空间因素进行模拟，更加偏向于对实际应用场景中的 SR。常用的空域 SR方法主要包括非均匀采样内插法、最大后验概率法、基于迭代反投影的方法、基于凸集投影的方法和混合算法等。

3 基于浅层学习的方法

浅层学习的方法主要依托规则约束和映射关系，从大量的训练样本中学习从 L R图像到HR图像的关系，然后将学习到的转换关系应用到低分辨率图像上，以此预测出SR 图像。
主要包括机器学习、流形学习、样本学习和稀疏编码等其中流形学习方法将 LR 图像看作 HR 图像在低维空间的流形表示，使用优化算法将样本聚类到一组流形领域中，然后再从这些领域中重建出 SR 图像。稀疏编码的SR 算法将 LR 图像看作 HR 图像的下采样表示，因此利用压缩感知原理可以从下采样信号中恢复出 HR 图像的稀疏表示。