图像处理:其他——去动态模糊滤镜 OpenCV v4.8.0

上一个教程去失焦模糊滤镜

下一个教程利用梯度结构张量进行各向异性图像分割

原作者Karpushin Vladislav
兼容性OpenCV >= 3.0

目标

在本教程中,你将学习

  • 什么是动态模糊图像的 PSF
  • 如何还原动态模糊图像

理论

有关退化图像模型理论和维纳滤波理论,请参阅教程 “去失焦模糊滤波器”。本页仅考虑线性运动模糊失真。本页中的运动模糊图像是真实世界中的图像。模糊是由移动的主体造成的。

什么是运动模糊图像的 PSF?

线性运动模糊失真的点扩散函数(PSF)是一条线段。这种 PSF 由两个参数指定: LEN 是模糊的长度,THETA 是运动的角度。

在这里插入图片描述

线性运动模糊变形的点扩散函数
\

如何还原模糊图像?

本页使用维纳滤波器作为复原滤波器,详情请参考教程 “去失焦模糊滤波器”。为了合成运动模糊情况下的维纳滤波器,需要指定 PSF 的信噪比(SNR)、LENTHETA

源代码

您可以在 OpenCV 源代码库的 samples/cpp/tutorial_code/ImgProc/motion_deblur_filter/motion_deblur_filter.cpp 中找到源代码。

#include <iostream>
#include "opencv2/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"
using namespace cv;
using namespace std;
void help();
void calcPSF(Mat& outputImg, Size filterSize, int len, double theta);
void fftshift(const Mat& inputImg, Mat& outputImg);
void filter2DFreq(const Mat& inputImg, Mat& outputImg, const Mat& H);
void calcWnrFilter(const Mat& input_h_PSF, Mat& output_G, double nsr);
void edgetaper(const Mat& inputImg, Mat& outputImg, double gamma = 5.0, double beta = 0.2);
const String keys =
"{help h usage ? | | print this message }"
"{image |input.png | input image name }"
"{LEN |125 | length of a motion }"
"{THETA |0 | angle of a motion in degrees }"
"{SNR |700 | signal to noise ratio }"
;
int main(int argc, char *argv[])
{
 help();
 CommandLineParser parser(argc, argv, keys);
 if (parser.has("help"))
 {
 parser.printMessage();
 return 0;
 }
 int LEN = parser.get<int>("LEN");
 double THETA = parser.get<double>("THETA");
 int snr = parser.get<int>("SNR");
 string strInFileName = parser.get<String>("image");
 if (!parser.check())
 {
 parser.printErrors();
 return 0;
 }
 Mat imgIn;
 imgIn = imread(strInFileName, IMREAD_GRAYSCALE);
 if (imgIn.empty()) //检查图像是否已加载
 {
 cout << "ERROR : Image cannot be loaded..!!" << endl;
 return -1;
 }
 Mat imgOut;
 // 只需要处理偶数图像
 Rect roi = Rect(0, 0, imgIn.cols & -2, imgIn.rows & -2)//计算 Hw(开始)
 Mat Hw, h;
 calcPSF(h, roi.size(), LEN, THETA)calcWnrFilter(h, Hw, 1.0 / double(snr))//计算 Hw(停止)
 imgIn.convertTo(imgIn, CV_32F)edgetaper(imgIn, imgIn)// 滤波(开始)
 filter2DFreq(imgIn(roi), imgOut, Hw)// 滤波(停止)
 imgOut.convertTo(imgOut, CV_8U);
 normalize(imgOut, imgOut, 0, 255, NORM_MINMAX);
 imwrite("result.jpg", imgOut);
 return 0;
}
void help()
{
 cout << "2018-08-14" << endl;
 cout << "Motion_deblur_v2" << endl;
 cout << "You will learn how to recover an image with motion blur distortion using a Wiener filter" << endl;
}
void calcPSF(Mat& outputImg, Size filterSize, int len, double theta)
{
 Mat h(filterSize, CV_32F, Scalar(0));
 Point point(filterSize.width / 2, filterSize.height / 2);
 ellipse(h, point, Size(0, cvRound(float(len) / 2.0)), 90.0 - theta, 0, 360, Scalar(255), FILLED);
 Scalar summa = sum(h);
 outputImg = h / summa[0];
}
void fftshift(const Mat& inputImg, Mat& outputImg)
{
 outputImg = inputImg.clone();
 int cx = outputImg.cols / 2;
 int cy = outputImg.rows / 2;
 Mat q0(outputImg, Rect(0, 0, cx, cy));
 Mat q1(outputImg, Rect(cx, 0, cx, cy));
 Mat q2(outputImg, Rect(0, cy, cx, cy));
 Mat q3(outputImg, Rect(cx, cy, cx, cy));
 Mat tmp;
 q0.copyTo(tmp);
 q3.copyTo(q0);
 tmp.copyTo(q3);
 q1.copyTo(tmp);
 q2.copyTo(q1);
 tmp.copyTo(q2);
}
void filter2DFreq(const Mat& inputImg, Mat& outputImg, const Mat& H)
{
 Mat planes[2] = { Mat_<float>(inputImg.clone()), Mat::zeros(inputImg.size(), CV_32F) };
 Mat complexI;
 merge(planes, 2, complexI);
 dft(complexI, complexI, DFT_SCALE);
 Mat planesH[2] = { Mat_<float>(H.clone()), Mat::zeros(H.size(), CV_32F) };
 Mat complexH;
 merge(planesH, 2, complexH);
 Mat complexIH;
 mulSpectrums(complexI, complexH, complexIH, 0);
 idft(complexIH, complexIH);
 split(complexIH, planes);
 outputImg = planes[0];
}
void calcWnrFilter(const Mat& input_h_PSF, Mat& output_G, double nsr)
{
 Mat h_PSF_shifted;
 fftshift(input_h_PSF, h_PSF_shifted);
 Mat planes[2] = { Mat_<float>(h_PSF_shifted.clone()), Mat::zeros(h_PSF_shifted.size(), CV_32F) };
 Mat complexI;
 merge(planes, 2, complexI);
 dft(complexI, complexI);
 split(complexI, planes);
 Mat denom;
 pow(abs(planes[0]), 2, denom);
 denom += nsr;
 divide(planes[0], denom, output_G);
}
void edgetaper(const Mat& inputImg, Mat& outputImg, double gamma, double beta)
{
 int Nx = inputImg.cols;
 int Ny = inputImg.rows;
 Mat w1(1, Nx, CV_32F, Scalar(0));
 Mat w2(Ny, 1, CV_32F, Scalar(0));
 float* p1 = w1.ptr<float>(0);
 float* p2 = w2.ptr<float>(0);
 float dx = float(2.0 * CV_PI / Nx);
 float x = float(-CV_PI);
 for (int i = 0; i < Nx; i++)
 {
 p1[i] = float(0.5 * (tanh((x + gamma / 2) / beta) - tanh((x - gamma / 2) / beta)));
 x += dx;
 }
 float dy = float(2.0 * CV_PI / Ny);
 float y = float(-CV_PI);
 for (int i = 0; i < Ny; i++)
 {
 p2[i] = float(0.5 * (tanh((y + gamma / 2) / beta) - tanh((y - gamma / 2) / beta)));
 y += dy;
 }
 Mat w = w2 * w1;
 multiply(inputImg, w, outputImg);
}

说明

运动模糊图像恢复算法包括 PSF 生成、维纳滤波器生成和频域模糊图像滤波:

 // 只需处理偶数图像
 Rect roi = Rect(0, 0, imgIn.cols & -2, imgIn.rows & -2)//计算 Hw(开始)
 Mat Hw, h;
 calcPSF(h, roi.size(), LEN, THETA)calcWnrFilter(h, Hw, 1.0 / double(snr))//计算 Hw(停止)
 imgIn.convertTo(imgIn, CV_32F)edgetaper(imgIn, imgIn)// 滤波(开始)
 filter2DFreq(imgIn(roi), imgOut, Hw)// 滤波(停止)

函数 calcPSF() 根据输入参数 LENTHETA(单位:度)形成 PSF:

void calcPSF(Mat& outputImg, Size filterSize, int len, double theta)
{
 Mat h(filterSize, CV_32F, Scalar(0));
 Point point(filterSize./2,filterSize./2);
 ellipse(h, point, Size(0, cvRound(float(len) / 2.0)), 90.0 - theta, 0, 360, Scalar(255), FILLED);
 Scalar summa = sum(h);
 outputImg = h / summa[0]}

函数 edgetaper() 将输入图像的边缘变细,以减少还原图像中的振铃效应:

void edgetaper(const Mat& inputImg, Mat& outputImg, double gamma, double beta)
{
 int Nx = inputImg.cols;
 int Ny = inputImg.rows;
 Mat w1(1, Nx, CV_32F, Scalar(0));
 Mat w2(Ny, 1, CV_32F, Scalar(0))float* p1 = w1.ptr<float>(0)float* p2 = w2.ptr<float>(0)float dx = float(2.0 * CV_PI / Nx)float x = float(-CV_PI)for (int i = 0; i < Nx; i++)
 {
 p1[i] = float(0.5 * (tanh((x + gamma / 2) / beta) - tanh((x - gamma / 2) / beta)));
 x += dx;
 }
 float dy = float(2.0 * CV_PI / Ny)float y = float(-CV_PI)for (int i = 0; i < Ny; i++)
 {
 p2[i] = float(0.5 * (tanh((y + gamma / 2) / beta) - tanh((y - gamma / 2) / beta)));
 y += dy;
 }
 Mat w = w2 * w1;
 multiply(inputImg, w, outputImg)}

函数 calcWnrFilter()、fftshift() 和 filter2DFreq() 通过指定频域 PSF 实现图像滤波。这些函数是从 去失焦滤波器 教程中复制的。

结果

下图是运动模糊失真的真实图像。两辆车的车牌都无法读取。红色标记表示车牌位置。

在这里插入图片描述

动态模糊图像。无法读取车牌

下面是黑色汽车车牌的还原结果。计算结果为 LEN = 125、THETA = 0、SNR = 700。

在这里插入图片描述

黑色汽车牌照的修复图像

下面是白色汽车牌照的修复结果。计算结果为 LEN = 78、THETA = 15、SNR = 300。

在这里插入图片描述

白色汽车牌照的修复图像

信噪比、LEN 和 THETA 的值都是手动选择的,以获得最佳视觉效果。THETA 参数与汽车的行驶方向一致,而 LEN 参数则取决于汽车的行驶速度。虽然效果并不完美,但至少能让我们对图像内容有所了解。经过一番努力,汽车牌照现在可以读取了。

注意事项
参数 LENTHETA 是最重要的。应首先调整 LENTHETA,然后再调整 SNR

您还可以在 YouTube 上找到车牌恢复方法的快速视频演示。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值