图像锐化算法

图像锐化，是使图像边缘更清晰的一种图像处理方法，细节增强（detail enhancement）我理解也包含了图像锐化，常用的做法是提取图像的高频分量，将其叠加到原图上。图像高频分量的提取有两种做法，一种是用高通滤波器，得到高频分量，另一种是通过低通滤波，用原图减低频得以高频。

直接提取高频的方法有sobel算法、laplcian算子，sobel算子是图像的一阶导数，提取的是梯度信息，分水平和垂直两种，常常用来做边缘检测、方向判别，sobel算子在斜坡处不为0，因此会产生较粗的边缘。laplcian算子是图像的二阶导，在图像开始变化和结束变化的地方值不为0，渐变时结果为0，因此laplacian比sobel算子更适合做sharpen。 
除了直接提取高频的方法外，我们也可以先提取低频，原图减去低频得到高频。这种方法称为非锐化掩模（unsharpen mask），我们常使用低通滤波器（高斯、双边）对图像进行滤波，这种方法滤波器很好控制（包括大小和强弱），从而可以控制高频分量的强弱。

使用UM方向做sharpen时，常常加入另外三个参数：跟滤波器相关的参数（高斯滤波器的半径和方差）、增强的阀值threshold、strength。

下面给出UM方法的三种实现：matlab、C和opencv。

Matlab： 
Matlab提供了库函数imsharpen，该函数使用UM方法进行sharpen，low-pass filter为gaussian kernel。下面是我实现的UM代码。先将rgb转到ycbcr color space，对Y做sharpen，cb/cr不做处理（最好是使用Y的结果做补偿，这样偏色少），最后再进行ycbcr2rgb的转换。

clc;
clear;
close all;
imSrc = imread('D:\simuTest\picSimu\00_kodak_dataset\kodim05.png');
imSrcYcbcr = rgb2ycbcr(imSrc);
imSrcY = imSrcYcbcr(:,:,1);
[hei, wid] = size(imSrc(:,:,1));
size = 3;
sigma = 1;  %gauss standard deviation sigma, default is 1
amount = 1.5;
threshold = 15;
gaussFilter = fspecial('gaussian', [size, size], sigma);
imSrcY_lf = imfilter(imSrcY, gaussFilter, 'symmetric');
imSrcY_hf = imSrcY - imSrcY_lf;
imLabel = (imSrcY_hf > threshold);
imLabel = uint8(imLabel);
imDstY = uint8(imSrcY + amount * imSrcY_hf .* imLabel);
figure, imshow([imSrcY, imSrcY_lf, imSrcY_hf, imDstY]);
imSrcYcbcr(:,:,1) = imDstY;
imDst = ycbcr2rgb(uint8(imSrcYcbcr));
figure, imshow([imSrc, imDst]);

输入输出图像如下所示，左边为sharpen前图像，右边为sharpen后图像。 

C代码： 
C有着matlab无法比拟的速度优势。下面是我用C写的UM代码，Srcp为输入源图像，dstp为输出的锐化后的图像，sharpen_coef为定点化后的增强系数（0-64），threshold为增强的阀值（高频分量大于该阈值，才做增强，典型值为15），低通滤波器模板为{{1,2,1},{2,4,2},{1,2,1}}的高斯核。

void imageSharpenUM(const uint8 *srcp, uint8 *dstp, int src_width, int src_height, int src_pitch, int sharpen_coef, int threshold)
{
    //int gaussianMat[3][3] = {{6, 43, 6}, {43, 317, 43}, {6, 43, 6}};
    int gaussianMat[3][3] = {{1, 2, 1}, {2, 4, 2}, {1, 2, 1}};
    int dstBlur;
    int dstTexture;
    int dstData;
    int dataSrc;
    int dstDetail;
    int src11 = 0;
    int src12 = 0;
    int src13 = 0;
    int src21 = 0;
    int src22 = 0;
    int src23 = 0;
    int src31 = 0;
    int src32 = 0;
    int src33 = 0;
    int a1 = gaussianMat[0][1];
    int a2 = gaussianMat[1][1];

    for(int ver = 0; ver < src_height; ++ver){
        for(int hor = 0; hor < src_width; ++hor){
            if(ver==0 || ver==src_height || hor==0 || hor==src_width){
                *(dstp + ver * src_pitch + hor) = *(srcp + ver * src_pitch + hor);
            }
            else{
                src11 = *(srcp + (ver - 1) * src_pitch + hor - 1) * gaussianMat[0][0];
                src12 = *(srcp + (ver - 1) * src_pitch + hor) * gaussianMat[0][1];
                src13 = *(srcp + (ver - 1) * src_pitch + hor + 1) * gaussianMat[0][2];

                src21 = *(srcp + ver * src_pitch + hor - 1) * gaussianMat[1][0];
                src22 = *(srcp + ver * src_pitch + hor) * gaussianMat[1][1];
                src23 = *(srcp + ver * src_pitch + hor + 1) * gaussianMat[1][2];

                src31 = *(srcp + (ver + 1) * src_pitch + hor - 1) * gaussianMat[2][0];
                src32 = *(srcp + (ver + 1) * src_pitch + hor) * gaussianMat[2][1];
                src33 = *(srcp + (ver + 1) * src_pitch + hor + 1) * gaussianMat[2][2];

                dataSrc = *(srcp + ver * src_pitch + hor);
                dstBlur = uint8((src11 + src12 + src13 + src21 + src22 + src23 + src31 + src32 + src33) >> 4);
                dstTexture = clip3(dataSrc - dstBlur,0, 255);
                //*(dstp + ver * src_pitch + hor) = (dstTexture * sharpen_coef) >> 5;
                if(dstTexture > threshold){
                    //dstData = clip3(dataSrc + (dstTexture * sharpen_coef) >> 5, 0, 255);
                    dstDetail = (dstTexture * sharpen_coef) >> 5;
                    dstData = clip3(dataSrc + dstDetail, 0, 255);
                    *(dstp + ver * src_pitch + hor) = dstData;
                }
                else{
                    *(dstp + ver * src_pitch + hor) = *(srcp + ver * src_pitch + hor);
                }
            }
        }
    }
}

OpenCV： 
使用opencv库中的GaussianBlur函数进行low-pass filter。

/*
* 函数名：  sharpenUM
* 说明：   使用非锐化掩模方法做锐化
* 参数：
    threshold   :   控制最小的锐化阈值
    amount      :   0.5-1.5，控制overshoot的magnitude
*/
Mat sharpenUM(Mat imageSrc, double threshold, double amount)
{
    Mat blurred;
    double sigma = 1;
    GaussianBlur(imageSrc, blurred, Size(), sigma, sigma);
    //int depth = CV_MAT_DEPTH(imageSrc.type());
    Mat lowContrastMask = abs(imageSrc - blurred) < threshold;
    Mat dst = imageSrc*(1+amount) + blurred*(-amount);      //original + (original - blurred) * amount
    imageSrc.copyTo(dst, lowContrastMask);                  //将imageSrc中lowContrastMask对应的非0部分复制到dst中
    //lowContrastMask等于1时，说明高频分量比较小，有可能是噪声，此时不做锐化
    return dst;
}

使用下面函数来调用sharpenUM，输入输出图像如下所示，上图是输入图像，下图是锐化后的输出图像。

imDst = sharpenUM(imSrc, 15, 2);

硬件实现时往往使用LUT来做，根据不同的strength及threshold、偏好设计好LUT，使用高频图像进行查表，将查表的结果叠加到原图上。