OpenCV实现图像卡通化

一、前言

今天介绍一个有趣的demo,结合之前图像空域滤波边缘检测的知识,实现图像卡通化,通过实现的过程,可以发现几种图像边缘检测和差异和图像滤波的性质

Demo来自《Mastering OpenCV with Practical ComputerVision Projects》(目前没见到中文版),可以在网上下载Ebook。
附Github地址:https://github.com/MasteringOpenCV/code

二、图像卡通化实现原理解析

实现原理:

图像卡通化的过程,实际上是对图像的内容部分进行平滑处理,对边缘部分锐化处理,使得图像内容更加光滑、边缘更加突出

步骤:

  1. 通过边缘检测滤波器获得灰度图像的边缘特征,阈值化后可得黑白素描图
  2. 通过双边滤波器多次迭代获得柔化图像,使平滑区域更光滑
  3. 将(1)中素描图作为掩膜叠加到(2)中柔化图像得卡通化图像

以上是图像卡通化的一般步骤,在实际过程中,我们还需要考虑以下问题:

Q: 若原图含噪声,应该如何处理?
A: 我们知道无论是一阶还是二阶微分算子,都对噪声敏感,在边缘检测之前,一定要先进行去噪处理,空域内图像平滑通常有五种方法:线性滤波(均值滤波、方框滤波和高斯滤波)、非线性滤波(中值滤波和双边滤波),在这里一般选择非线性滤波中的中值滤波,(1)中值滤波能够有效去除边缘孤立噪声点而不会平滑边缘特征,(2)中值滤波能够保持边缘的锐度,利于后面边缘检测。

Q: 边缘检测滤波器如何选择?
A: 常用的边缘检测算子有:一阶微分算子(Sobel、Scharr)、二阶微分算子(Canny、Laplace),关于这几种检测算子的使用,书籍原文给出了解释:

There are many different edge detection flters, such as Sobel, Scharr, Laplacian filters, or Canny-edge detector. We will use a Laplacian edge flter since it produces edges that look most similar to hand sketches compared to Sobel or Scharr, and that are quite consistent compared to a Canny-edge detector, which produces very clean line drawings but is affected more by random noise in the camera frames and the line drawings therefore often change drastically between frames.

原文选择Laplacian算子,我的理解有以下两点:
(1)像Sobel等一阶微分算子,通过XY方向上的灰度梯度来估算边缘信息,并不能将图像边缘与背景信息区分开来,如Sobel算子提取的边缘通常过于“细致”而不符合主观视觉上的真实图像边缘,相较之下,Laplacian、Canny等二阶微分算子往往能得到更加合理的边缘,看起来也更有“素描”的感觉。
(2)Canny算子检测的边缘连续性更好,轮廓也更清晰,但是它容易受随机噪声影响,相较之下,Laplacian算子的噪声抑制效果要更好,而相机自然拍摄的图片多少含有随机噪声,所以选择Laplacian算子是最好的选择。

Q:为什么选择双边滤波器柔化图像?
A:(1)双边滤波器是一种非线性滤波方法,有效结合图像的空间邻近度和像素值相似度的优势,用它柔化图像的原因是(1)同时考虑了空间信息和灰度相似性,同时达到保边去噪的目的;(2)对局部信息的保持效果好

Q:双边滤波的速度很慢,如何优化?
A:为了加速滤波过程,可以先缩小图像,再进行双边滤波,处理完成后,恢复原始尺寸,处理效果与直接原图滤波差不多,但是效率却提高了几倍。

三、实现卡通化图像源码

通过以上的分析过程,就可以写出代码,部分实现细节在代码中讲解:

#include<opencv2/opencv.hpp>
using namespace cv;

void cartoonify(Mat& src,Mat& dst, const char* typeName){
    Mat gray;
    cvtColor(src,gray,CV_RGB2GRAY);
    medianBlur(gray,gray,5); //去噪

    if(typeName == "Scharr"){
        Mat edge1=Mat(gray.size(),CV_8U);
        Mat edge2;
        Scharr(gray,edge1,CV_8U,1,0,1,0,BORDER_DEFAULT); //X方向差分运算 
        Scharr(gray,edge2,CV_8U,0,1,1,0,BORDER_DEFAULT); //Y方向差分运算 
        edge1 += edge2; //整体Scharr
        edge1.copyTo(gray);
    }
    else if(typeName == "Canny"){
        Canny(gray,gray,80,160,3); 
    }
    else{
        Laplacian(gray, gray, CV_8U, 5);
    }
    
    Mat mask(src.size(),CV_8U);
    threshold(gray,mask,120,255,THRESH_BINARY_INV);
    //medianBlur(mask,mask,3); 
    imshow("mask",mask);

    //对原始图像双边滤波
    Size smallSzie(src.cols/2,src.rows/2);
    Mat s_src=Mat(smallSzie,src.type());
    resize(src,s_src,smallSzie,0,0,INTER_LINEAR);
    Mat tmp=Mat(smallSzie,CV_8UC3);
    int iterator=7;
    for(int i=0;i<iterator;i++){
        int ksize=9;
        double sigmaColor=9;
        double sigmaSpace=7;
        bilateralFilter(s_src,tmp,ksize,sigmaColor,sigmaSpace);
        bilateralFilter(tmp,s_src,ksize,sigmaColor,sigmaSpace);
    }
    Mat b_src;
    resize(s_src,b_src,src.size(),0,0,INTER_LINEAR);

    //掩膜叠加
    dst=Mat(src.size(),src.type(),Scalar::all(0)); //初始化
    //dst.setTo(0);
    b_src.copyTo(dst,mask);
}

int main()
{
    Mat src=imread("C:/Users/Administrator/Desktop/beauty.jpg");
    if(!src.data){
        printf("Load failture...");
        return 0;
    }
    resize(src,src,Size(600,400),0,0,INTER_LINEAR);

    Mat dst;
    cartoonify(src,dst,"Canny");
    imshow("cartoonImg_Scharr",dst);

    waitKey(0);
    return 0;
}

结果如下:
(1)使用Scharr边缘检测算子时:
在这里插入图片描述
(1)使用Canny边缘检测算子时:
在这里插入图片描述
(1)使用Lapcian边缘检测算子时:
在这里插入图片描述
整体来看Laplacian算子实现效果最好,Canny算子检测的边缘轮廓最清晰且连贯性好,但是视觉上边缘掩膜痕迹太重了(即素描轮廓过于清晰)。由于原图无噪声,所以从噪声方面考虑Canny算子实现的效果还是挺好的!

  • 8
    点赞
  • 44
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值