自制疲劳检查摄像头

本人菜鸟一枚，接触opencv没多久，以前 做过图像处理相关的项目。

说到疲劳检查，自己开车的时候深有体会，开久了，就怕一不小心开到沟里去。

来说正题吧，疲劳检查。

我的基本思路就是车上司机位安装一个摄像头，拍摄司机，检查眼睛是否正视前方，其实说白了也算不上疲劳检查，主要就是检查司机有没有正式前方，如果司机闭上眼睛、低头看手机或者看车左右方，时间超过x秒，则提示司机注意前方。

我觉得这样也基本上能够达到警示司机了。

当前opencv，人脸检测技术已经非常成熟，opencv里自带的例子里就有人脸检测与眼睛检测

下面是opencv中自带的样例程序，我稍稍修改了下，只识别眼睛：

/**
 * @file objectDetection2.cpp
 * @author A. Huaman ( based in the classic facedetect.cpp in samples/c )
 * @brief A simplified version of facedetect.cpp, show how to load a cascade classifier and how to find objects (Face + eyes) in a video stream - Using LBP here
 */
#include "opencv2/objdetect/objdetect.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"

#include <iostream>
#include <stdio.h>

using namespace std;
using namespace cv;

/** Function Headers */
void detectAndDisplay( Mat frame );

/** Global variables */
String face_cascade_name = "../data/haarcascades/lbpcascade_frontalface.xml";
//String eyes_cascade_name = "../data/haarcascades/haarcascade_eye_tree_eyeglasses.xml";
//String face_cascade_name = "../data/haarcascades/haarcascade_frontalface_alt.xml";
String eyes_cascade_name = "../data/haarcascades/haarcascade_eye_tree_eyeglasses.xml";
CascadeClassifier face_cascade;
CascadeClassifier eyes_cascade;
string window_name = "Capture - Face detection";

RNG rng(12345);

/**
 * @function main
 */
int main( void )
{
  VideoCapture capture;
  Mat frame;

  //-- 1. Load the cascades
  if (!face_cascade.load(face_cascade_name))
  {
	  printf("--(!)Error loading\n");
	  return -1;
  };
  if (!eyes_cascade.load(eyes_cascade_name))
  {
	  printf("--(!)Error loading\n");
	  return -1;
  };

  //-- 2. Read the video stream
  capture.open( -1 );
  if( capture.isOpened() )
  {
    for(;;)
    {
      capture >> frame;

      //-- 3. Apply the classifier to the frame
      if( !frame.empty() )
       { detectAndDisplay( frame ); }
      else
       { printf(" --(!) No captured frame -- Break!"); break; }

      int c = waitKey(10);
      if( (char)c == 'c' ) { break; }

    }
  }
  return 0;
}

/**
 * @function detectAndDisplay
 */
void detectAndDisplay( Mat frame )
{
   std::vector<Rect> faces;
   Mat frame_gray;

   cvtColor( frame, frame_gray, COLOR_BGR2GRAY );
   equalizeHist( frame_gray, frame_gray );

   //-- Detect faces
   face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2, 0, Size(80, 80) );

   for( size_t i = 0; i < faces.size(); i++ )
    {
      Mat faceROI = frame_gray( faces[i] );
      std::vector<Rect> eyes;

      //-- In each face, detect eyes
      eyes_cascade.detectMultiScale( faceROI, eyes, 1.1, 2, 0 |CV_HAAR_SCALE_IMAGE, Size(30, 30) );
      if( eyes.size() == 2)
      {
         //-- Draw the face
         Point center( faces[i].x + faces[i].width/2, faces[i].y + faces[i].height/2 );
         ellipse( frame, center, Size( faces[i].width/2, faces[i].height/2), 0, 0, 360, Scalar( 255, 0, 0 ), 2, 8, 0 );

         for( size_t j = 0; j < eyes.size(); j++ )
          { //-- Draw the eyes
            Point eye_center( faces[i].x + eyes[j].x + eyes[j].width/2, faces[i].y + eyes[j].y + eyes[j].height/2 );
            int radius = cvRound( (eyes[j].width + eyes[j].height)*0.25 );
            circle( frame, eye_center, radius, Scalar( 255, 0, 255 ), 3, 8, 0 );
          }
       }

    }
   //-- Show what you got
   imshow( window_name, frame );
}

但是这样不行，还需要实现识别闭着的眼睛，这个比较难，opencv里目前没有找到训练好的识别闭眼的xml文件。于是想自己训练一个，opencv里有个opencv_traincascade.exe，这个是用来训练的，可以训练Haar，LBP，Hog三种特征，详情大家可以百度搜搜，我这个新手弄了好半天，最后得出结论：

要训练一个新图形，不是一件简单的事。而且opencv默认提供的训练好的xml示例，就有好几个识别效果非常不理想的。

于是换用新思路，这是我自己想的一个简单的思路：直接截取已识别的眼睛部位图像，将其进行基本的图像处理，并二值化，统计黑色元素占整张图片的比例，闭上眼睛的肯定比睁眼的要少，经过半天折腾，结果很不理想，原来闭上眼睛后，眉毛的一部分就会出现在眼部图像中，导致黑色比例不稳定，无法识别。

接着再改思路，想起之前做过的文字识别功能，决定把眼部图像二值化后作为一个特殊的文字来处理，先提取图片的hog特征，将其分为睁眼和闭眼2类，进行训练，由于睁眼和闭眼差别还是蛮大的，只需少量的样本文件就可以达到区分的效果了，我2类都分别采集了约50来张，然后训练，完成之后测试了一下，识别眼睛的效果，结果非常好，用svm对眼部图像进行分类，100%全部正确。

hog特征识别和训练，网上的资料比较多：

可以参考http://blog.csdn.net/carson2005/article/details/7841443

兴奋了一阵，于是将程序开发出来，考虑到车上没有显示屏，加上了语音提示，如果在window系统的电脑上测试，安装好USB摄像头和摄像头驱动，就可以演示了。

如果要安装到车上，买个自带windows操作系统的摄像头，将程序放进去，再弄个小音箱，就能语音提示了。

程序采用QT编写，执行程序下载地址（没有提供整套源码，但里面有训练好的xml：svm_data.xml，直接按下面的代码加载进去就可以识别闭眼了）：
链接：http://pan.baidu.com/s/1o8v9nsA 密码：fa8h

enum ClassType{TYPE_OPEN_EYE = 0,TYPE_CLOSE_EYE = 1};



void HogTrainer::loadXml(QString xmlFile)
{
    svm.load(xmlFile.toUtf8().data());
}

ClassType HogTrainer::regnizeImg(Mat test)
{
    Mat trainImg = Mat::zeros(ImgHeight, ImgWidht, CV_8UC3);

    resize(test, trainImg, cv::Size(ImgWidht,ImgHeight), 0, 0, INTER_CUBIC);//要搞成同样的大小才可以检测到
    HOGDescriptor *hog=new HOGDescriptor(cvSize(ImgWidht,ImgHeight),cvSize(16,16),cvSize(8,8),cvSize(8,8),9);  //窗口大小，块大小，块滑动增量，cell的大小，bins的个数
    vector<float>descriptors;//结果数组
    hog->compute(trainImg, descriptors,Size(1,1), Size(0,0)); //调用计算函数开始计算
    //qDebug()<<"The Detection Result,HOG dims: "<<descriptors.size();
    Mat SVMtrainMat =  Mat::zeros(1,descriptors.size(),CV_32FC1);
    unsigned int n=0;
    for(vector<float>::iterator iter=descriptors.begin();iter!=descriptors.end();iter++)
    {
        SVMtrainMat.at<float>(0,n) = *iter;
        n++;
    }

    int ret = svm.predict(SVMtrainMat);
    return ClassType(ret);
}