一、前言
今天介绍一个有趣的demo,结合之前图像空域滤波和边缘检测的知识,实现图像卡通化,通过实现的过程,可以发现几种图像边缘检测和差异和图像滤波的性质。
Demo来自《Mastering OpenCV with Practical ComputerVision Projects》(目前没见到中文版),可以在网上下载Ebook。
附Github地址:https://github.com/MasteringOpenCV/code
二、图像卡通化实现原理解析
实现原理:
图像卡通化的过程,实际上是对图像的内容部分进行平滑处理,对边缘部分锐化处理,使得图像内容更加光滑、边缘更加突出。
步骤:
- 通过边缘检测滤波器获得灰度图像的边缘特征,阈值化后可得黑白素描图
- 通过双边滤波器多次迭代获得柔化图像,使平滑区域更光滑
- 将(1)中素描图作为掩膜叠加到(2)中柔化图像得卡通化图像
以上是图像卡通化的一般步骤,在实际过程中,我们还需要考虑以下问题:
Q: 若原图含噪声,应该如何处理?
A: 我们知道无论是一阶还是二阶微分算子,都对噪声敏感,在边缘检测之前,一定要先进行去噪处理,空域内图像平滑通常有五种方法:线性滤波(均值滤波、方框滤波和高斯滤波)、非线性滤波(中值滤波和双边滤波),在这里一般选择非线性滤波中的中值滤波,(1)中值滤波能够有效去除边缘孤立噪声点而不会平滑边缘特征,(2)中值滤波能够保持边缘的锐度,利于后面边缘检测。
Q: 边缘检测滤波器如何选择?
A: 常用的边缘检测算子有:一阶微分算子(Sobel、Scharr)、二阶微分算子(Canny、Laplace),关于这几种检测算子的使用,书籍原文给出了解释:
There are many different edge detection flters, such as Sobel, Scharr, Laplacian filters, or Canny-edge detector. We will use a Laplacian edge flter since it produces edges that look most similar to hand sketches compared to Sobel or Scharr, and that are quite consistent compared to a Canny-edge detector, which produces very clean line drawings but is affected more by random noise in the camera frames and the line drawings therefore often change drastically between frames.
原文选择Laplacian算子,我的理解有以下两点:
(1)像Sobel等一阶微分算子,通过XY方向上的灰度梯度来估算边缘信息,并不能将图像边缘与背景信息区分开来,如Sobel算子提取的边缘通常过于“细致”而不符合主观视觉上的真实图像边缘,相较之下,Laplacian、Canny等二阶微分算子往往能得到更加合理的边缘,看起来也更有“素描”的感觉。
(2)Canny算子检测的边缘连续性更好,轮廓也更清晰,但是它容易受随机噪声影响,相较之下,Laplacian算子的噪声抑制效果要更好,而相机自然拍摄的图片多少含有随机噪声,所以选择Laplacian算子是最好的选择。
Q:为什么选择双边滤波器柔化图像?
A:(1)双边滤波器是一种非线性滤波方法,有效结合图像的空间邻近度和像素值相似度的优势,用它柔化图像的原因是(1)同时考虑了空间信息和灰度相似性,同时达到保边去噪的目的;(2)对局部信息的保持效果好。
Q:双边滤波的速度很慢,如何优化?
A:为了加速滤波过程,可以先缩小图像,再进行双边滤波,处理完成后,恢复原始尺寸,处理效果与直接原图滤波差不多,但是效率却提高了几倍。
三、实现卡通化图像源码
通过以上的分析过程,就可以写出代码,部分实现细节在代码中讲解:
#include<opencv2/opencv.hpp>
using namespace cv;
void cartoonify(Mat& src,Mat& dst, const char* typeName){
Mat gray;
cvtColor(src,gray,CV_RGB2GRAY);
medianBlur(gray,gray,5); //去噪
if(typeName == "Scharr"){
Mat edge1=Mat(gray.size(),CV_8U);
Mat edge2;
Scharr(gray,edge1,CV_8U,1,0,1,0,BORDER_DEFAULT); //X方向差分运算
Scharr(gray,edge2,CV_8U,0,1,1,0,BORDER_DEFAULT); //Y方向差分运算
edge1 += edge2; //整体Scharr
edge1.copyTo(gray);
}
else if(typeName == "Canny"){
Canny(gray,gray,80,160,3);
}
else{
Laplacian(gray, gray, CV_8U, 5);
}
Mat mask(src.size(),CV_8U);
threshold(gray,mask,120,255,THRESH_BINARY_INV);
//medianBlur(mask,mask,3);
imshow("mask",mask);
//对原始图像双边滤波
Size smallSzie(src.cols/2,src.rows/2);
Mat s_src=Mat(smallSzie,src.type());
resize(src,s_src,smallSzie,0,0,INTER_LINEAR);
Mat tmp=Mat(smallSzie,CV_8UC3);
int iterator=7;
for(int i=0;i<iterator;i++){
int ksize=9;
double sigmaColor=9;
double sigmaSpace=7;
bilateralFilter(s_src,tmp,ksize,sigmaColor,sigmaSpace);
bilateralFilter(tmp,s_src,ksize,sigmaColor,sigmaSpace);
}
Mat b_src;
resize(s_src,b_src,src.size(),0,0,INTER_LINEAR);
//掩膜叠加
dst=Mat(src.size(),src.type(),Scalar::all(0)); //初始化
//dst.setTo(0);
b_src.copyTo(dst,mask);
}
int main()
{
Mat src=imread("C:/Users/Administrator/Desktop/beauty.jpg");
if(!src.data){
printf("Load failture...");
return 0;
}
resize(src,src,Size(600,400),0,0,INTER_LINEAR);
Mat dst;
cartoonify(src,dst,"Canny");
imshow("cartoonImg_Scharr",dst);
waitKey(0);
return 0;
}
结果如下:
(1)使用Scharr边缘检测算子时:
(1)使用Canny边缘检测算子时:
(1)使用Lapcian边缘检测算子时:
整体来看Laplacian算子实现效果最好,Canny算子检测的边缘轮廓最清晰且连贯性好,但是视觉上边缘掩膜痕迹太重了(即素描轮廓过于清晰)。由于原图无噪声,所以从噪声方面考虑Canny算子实现的效果还是挺好的!
’