树莓派：openCV之火焰检测

        根据论文An Early Fire-Detection Method Based on Image Processing ,The Author is:Thou-Ho (Chao-Ho) Chen, Ping-Hsueh Wu, and Yung-Chuen Chiou 中原理实现火焰检测。

       基本原理：主要结合RGB判据和HIS判据，设定合适的阈值条件，检测出火焰对应像素的区域，将原图二值化，经过中值滤波以及数学形态学的膨胀运算等图像处理，消除一些噪声及离散点，连通一些遗漏的区域。

       利用OpenCV有强大的图像处理库，直接将图像分离为RGB三通道，设置条件限制，找到火焰的像素位置，将原图处理成二值图像。对于火焰检测，本文结合RGB判据和HIS判据，分割出火焰的区域。一般用于人眼观看的颜色模型是RGB模型，对于火焰而言，红色分量(R)和绿色分量(G)会很大，并且绿色分量(G)会大于蓝色分量(B)。HIS颜色模型分别用H(色度)S(饱和度)I(亮度)描述颜色特性，与人们感受颜色的方式紧密相连。考虑到单一颜色模型的判据准确性不够高，在RGB判据基础上，添加HIS约束条件。具体条件[1]为：

       其中，Rt是红色分量阈值，St是饱和度阈值,火焰像素主要取决于红色分量(R)的色度和饱和度。若满足式(1)，则判断该位置为火焰像素，显示为白色，否则显示为黑色。判据中阈值的选择对于火焰检测是至关重要的，一般靠经验设定，为了获取火焰识别最好的效果，设置两个滑动条，改变阈值Rt和St的大小，选取最合适的值。

       由于(1)中只需要用到HIS中的S分量，所以不需要用到颜色模型转换函数，直接计算S分量即可。

       获取二值图像后，需要对其预处理，找到遗漏的点，剔除异常的点。由于存在噪声及离散点，对图像进行平滑滤波，本文采用的是中值滤波，中值滤波是典型的非线性滤波，用像素点邻域灰度值的中值来代替该像素点的灰度值，非常利于消除一些误判断为火焰的像素点。

       由于部分火焰的颜色不是介于红黄之间，无法识别，需要实现区域的连通，因此对二值图像进行数学形态学操作。形态学是一种强大的图像处理工具，它可以实现图像去噪、图像分割等功能，最基本的形态学操作有两种，分别是膨胀与腐蚀。它们可以衍生出很多强大的形态学算法，实现我们想要的功能。采用形态学处理的最基础的膨胀操作，作用于火焰的二值图像中。

在我之前的文章中已经讲述了HSI的原理和RGB如何转HSI，也对二值图像进行数学形态学操作做了相应的介绍，大家可以参阅。

效果如下图：

#include<iostream>
#include<opencv2/opencv.hpp>
#include<opencv2/highgui/highgui.hpp>
#include<opencv2/imgproc/imgproc.hpp>

using namespace std;
using namespace cv;

void DrawFire(Mat &inputImg,Mat foreImg)  
{  
    vector<vector<Point>> contours_set;//保存轮廓提取后的点集及拓扑关系  
  
    findContours(foreImg,contours_set,CV_RETR_EXTERNAL,CV_CHAIN_APPROX_NONE);     
  
    Mat result0;  
    Scalar holeColor;  
    Scalar externalColor;  
  
    vector<vector<Point> >::iterator iter = contours_set.begin() ;  
    for(; iter!= contours_set.end(); )  
    {  
        Rect rect = boundingRect(*iter );  
        float radius;    
        Point2f center;    
        minEnclosingCircle(*iter,center,radius);    
          
        if (rect.area()> 0)        
        {  
  
            rectangle(inputImg,rect,Scalar(0,255,0));     
            ++ iter;  
  
        }  
        else  
        {  
            iter = contours_set.erase(iter);  
        }  
    }  
  
    imshow("showFire",inputImg);  
    waitKey(0);  
}  


//  
//The Color Check is According to "An Early Fire-Detection Method Based on Image Processing"  
//The Author is:Thou-Ho (Chao-Ho) Chen, Ping-Hsueh Wu, and Yung-Chuen Chiou  
//  
Mat CheckColor(Mat &inImg)  
{  
    Mat fireImg;  
    fireImg.create(inImg.size(),CV_8UC1);  
      
    int redThre = 115; // 115~135  
    int saturationTh = 45; //55~65  
    Mat multiRGB[3];  
    int a = inImg.channels();  
    split(inImg,multiRGB); //将图片拆分成R,G,B,三通道的颜色  
  
    for (int i = 0; i < inImg.rows; i ++)  
    {  
        for (int j = 0; j < inImg.cols; j ++)  
        {  
            float B,G,R;  
            B = multiRGB[0].at<uchar>(i,j); //每个像素的R,G,B值  
            G = multiRGB[1].at<uchar>(i,j);  
            R = multiRGB[2].at<uchar>(i,j);     
  
            /*B = inImg.at<uchar>(i,inImg.channels()*j + 0); //另一种调用图片中像素RGB值的方法 
            G = inImg.at<uchar>(i,inImg.channels()*j + 1); 
            R = inImg.at<uchar>(i,inImg.channels()*j + 2);*/  
  
            int maxValue = max(max(B,G),R);  
            int minValue = min(min(B,G),R);  
  
            double S = (1-3.0*minValue/(R+G+B));  
  
            //R > RT  R>=G>=B  S>=((255-R)*ST/RT)  
            if(R > redThre && R >= G && G >= B && S >0.20 && S >((255 - R) * saturationTh/redThre))  
            {  
                fireImg.at<uchar>(i,j) = 255;  
            }  
            else  
            {  
                fireImg.at<uchar>(i,j) = 0;  
            }  
        }  
    }  
  
    dilate(fireImg,fireImg,Mat(5,5,CV_8UC1));  
    imshow("fire",fireImg);  
    waitKey(0);  
  
    DrawFire(inImg,fireImg);  
      
    return fireImg;  
}  
  

int main()  
{  
    string filepath = "大火_6.jpg";  
    Mat inputImg = imread(filepath,1);  
      
    CheckColor(inputImg);  
    return 0;  
}  

       在背景比较单调且与火焰差别较大时，这个方法效果良好，几乎没有任何噪声对其造成干扰。但当背景复杂或与火焰颜色比较相似时，会不时出现噪声和误判，需要进一步提高算法。下面计划利用深度学习方面的算法，提高检测效果。