(45)Air Band OpenCV2.4.13_输入视频和相似性度量

本文是对OpenCV2.4.13文档的部分翻译，作个人学习之用，并不完整。

视频有两种：实时图像和预记录在硬盘中的存储文件。OpenCV使用相同C++类和相同的方法来处理。

所有对于视频输入功能必要的函数都在VideoCapture类中，这个类基于FFmpeg开源库来构建。这是OpenCV基本的依赖。

一个视频是由一系列图像组成的，书面上将其称为帧。视频文件中帧率指定了两帧之间的时长。摄像机通常会限制每秒可以数字化的帧数，这一属性并不是很重要，因为无论什么时候摄像机看到的只是当前世界的一个瞬间。

我们想要直到视频转换操作是多么细微，所以我们需要一个系统来逐帧检查相似性或差异性。最常见的算法就是PSNR。

假设有两幅图I1和I2，两个维度的大小分别是i和j，由c个通道组成：

MSE的分子值表示一个像素的最大合法值。如果一个简单的图像每个通道的每个像素只有一个字节，那这个值就是255。如果两个图像一样，MSE就会是0，导致公式中的不合法的除0计算。这样PSNR就是无定义的，我们应该将这种情况单独处理。因为像素值的范围可能很大，所以要将结果转换成对数形式。

这个过程我们用double getPSNR(const Mat& I1, const Mat& I2)函数来实现。通常视频压缩的结果值在30和50之间，这个值越高越好。如果图像差别很大，结果可能低于15。

相似性检查很容易，计算很快，然而实际中结果可能和人眼看到的不一样。需要用结构相似性算法来纠正。见Scalar getMSSIM(const Mat& i1,const Mat& i2)函数。对图像的每个通道返回一个相似性索引。这个值在0到1之间，1表示恰好符合。然而高斯模糊代价很高，所以PSNR随着环境实时执行（如24帧每秒），仍会花费更多时间来获取相似性检查的结果。因此源代码在一开始就对每帧执行PSNR，SSIM只对PSNR落后输入值时执行。为了可视化，我们将两图都显示出来并打印出PSNR和MSSIM的值。

#include <iostream> // for standard I/O
#include <string>   // for strings
#include <iomanip>  // 控制浮点打印的精度
#include <sstream>  // 字符串转数字

#include <opencv2/core/core.hpp>        // 基本的OpenCV结构(cv::Mat, Scalar)
#include <opencv2/imgproc/imgproc.hpp>  // 高斯模糊
#include <opencv2/highgui/highgui.hpp>  // OpenCV 窗口 I/O

using namespace std;
using namespace cv;

double getPSNR ( const Mat& I1, const Mat& I2);
Scalar getMSSIM( const Mat& I1, const Mat& I2);

static void help()
{
    cout
        << "------------------------------------------------------------------------------" << endl
        << "This program shows how to read a video file with OpenCV. In addition, it "
        << "tests the similarity of two input videos first with PSNR, and for the frames "
        << "below a PSNR trigger value, also with MSSIM."                                   << endl
        << "Usage:"                                                                         << endl
        << "./video-source referenceVideo useCaseTestVideo PSNR_Trigger_Value Wait_Between_Frames " << endl
        << "--------------------------------------------------------------------------"     << endl
        << endl;
}

int main()
{
    help();

    const string sourceReference = "Megamind.avi", 
		sourceCompareWith = "Megamind_bugy.avi";
    int psnrTriggerValue=35,
		delay=10;

    char c;
    int frameNum = -1;          // 帧计数器

	//用输入的参数创建VideoCapture
	//首先你可以通过构造函数或open函数为VideoCapture类赋一个源值。如果参数是整数则你可以将这个类绑定到一个摄像机等设备。这里传入的数字就是由操作系统设定的设备的ID。如果只有一个设备连到系统，一般ID就0，将来连入的设备ID依次从这个ID开始增长。如果传入的参数是一个字符串，就是指一个视频文件，字符串就是文件的位置和名称。
	//这里我们要做一个相似性检查，VideoCapture构造函数的前两个参数为一个引用和一个测试用例的视频文件，这里我们使用相对地址
    VideoCapture captRefrnc(sourceReference), captUndTst(sourceCompareWith);

	//检查对视频源的绑定是否成功，当对象的析构函数调用时，自动关闭视频。你也可以在关闭前调用release函数。
    if (!captRefrnc.isOpened())
    {
        cout  << "Could not open reference " << sourceReference << endl;
        return -1;
    }

    if (!captUndTst.isOpened())
    {
        cout  << "Could not open case test " << sourceCompareWith << endl;
        return -1;
    }

	// 视频除了帧内容还有带有很多很多的信息,它们通常都是数字，有时可能是很短的字符序列，一般少于4个字节
	// 获取这些信息可以使用一个通用的get函数，返回值就包含了这些属性。使用按位操作来从double类型解码出字符，如果有效值只有整型，可以使用类型转换。参数就是一个属性的ID
	// 如果想要自己控制值，可以用set函数，第一个参数是想要改变的属性的名字（ID），第二个是一个double类型的用于设置的值，如果成功返回true，失败返回false。
	// 如captRefrnc.set(CV_CAP_PROP_POS_MSEC,1.2)表示到视频的第1.2秒
	// 如captRefrnc.set(CV_CAP_PROP_POS_FRAME,10)表示到视频的第10帧，此时读操作就会从这个位置开始读取帧
	//帧大小
    Size refS = Size((int) captRefrnc.get(CV_CAP_PROP_FRAME_WIDTH),
                     (int) captRefrnc.get(CV_CAP_PROP_FRAME_HEIGHT)),
         uTSi = Size((int) captUndTst.get(CV_CAP_PROP_FRAME_WIDTH),
                     (int) captUndTst.get(CV_CAP_PROP_FRAME_HEIGHT));

	//检测引用视频和测试视频的帧大小是否相同
    if (refS != uTSi)
    {
        cout << "Inputs have different size!!! Closing." << endl;
        return -1;
    }

    const char* WIN_UT = "Under Test";
    const char* WIN_RF = "Reference";

    // 创建窗口
    namedWindow(WIN_RF, CV_WINDOW_AUTOSIZE);
    namedWindow(WIN_UT, CV_WINDOW_AUTOSIZE);
    cvMoveWindow(WIN_RF, 400       , 0);         //750,  2 (bernat =0)
    cvMoveWindow(WIN_UT, refS.width, 0);         //1500, 2

    cout << "Reference frame resolution: Width=" << refS.width << "  Height=" << refS.height
         << " of nr#: " << captRefrnc.get(CV_CAP_PROP_FRAME_COUNT) << endl;

    cout << "PSNR trigger value " << setiosflags(ios::fixed) << setprecision(3)
         << psnrTriggerValue << endl;

	//视频的一帧其实就是一个图像，因此我们需要从VideoCapture对象中将它们导出到一个Mat对象中。
	//视频流是连续的，可以用read或>>操作符来一个接一个地得到帧内容，这种操作由帧获取和对其应用解码组成，可以显式使用grab和retrieve函数来分两次执行
    Mat frameReference, frameUnderTest;
    double psnrV;
    Scalar mssimV;

    for(;;) //显示在窗口中捕获的图像并重复
    {
        captRefrnc >> frameReference;
		captUndTst.read(frameUnderTest);

		//如果读取操作获取不到帧，Mat对象可能为空（视频流关闭或读到了视频文件的最后）
        if (frameReference.empty() || frameUnderTest.empty())
        {
            cout << " < < <  Game over!  > > > ";
            break;
        }

        ++frameNum;
        cout << "Frame: " << frameNum << "# ";

		// 
        / PSNR 
        psnrV = getPSNR(frameReference,frameUnderTest);
        cout << setiosflags(ios::fixed) << setprecision(3) << psnrV << "dB";

         MSSIM /
        if (psnrV < psnrTriggerValue && psnrV)
        {
            mssimV = getMSSIM(frameReference, frameUnderTest);

            cout << " MSSIM: "
                << " R " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[2] * 100 << "%"
                << " G " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[1] * 100 << "%"
                << " B " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[0] * 100 << "%";
        }

        cout << endl;

        // Show Image /
        imshow(WIN_RF, frameReference);
        imshow(WIN_UT, frameUnderTest);

        c = (char)cvWaitKey(delay);
        if (c == 27) break;
    }

    return 0;
}
//相似性检查
double getPSNR(const Mat& I1, const Mat& I2)
{
    Mat s1;
    absdiff(I1, I2, s1);       // |I1 - I2|
    s1.convertTo(s1, CV_32F);  // 不能对8位二进制数平方，要先转化为32位整型
    s1 = s1.mul(s1);           // |I1 - I2|^2

    Scalar s = sum(s1);        // 每个通道的元素求和

    double sse = s.val[0] + s.val[1] + s.val[2]; // 对通道求和

    if( sse <= 1e-10) // 小值返回0
        return 0;
    else
    {
        double mse  = sse / (double)(I1.channels() * I1.total());
        double psnr = 10.0 * log10((255 * 255) / mse);
        return psnr;
    }
}

//相似性检查纠正
Scalar getMSSIM( const Mat& i1, const Mat& i2)
{
    const double C1 = 6.5025, C2 = 58.5225;
    /***************************** INITS **********************************/
    int d = CV_32F;

    Mat I1, I2;
    i1.convertTo(I1, d);            // 不能对一个字节长度的值计算，先转换为整型
    i2.convertTo(I2, d);

    Mat I2_2   = I2.mul(I2);        // I2^2
    Mat I1_2   = I1.mul(I1);        // I1^2
    Mat I1_I2  = I1.mul(I2);        // I1 * I2

    /*************************** END INITS **********************************/

    Mat mu1, mu2;                   // PRELIMINARY COMPUTING
    GaussianBlur(I1, mu1, Size(11, 11), 1.5);
    GaussianBlur(I2, mu2, Size(11, 11), 1.5);

    Mat mu1_2   =   mu1.mul(mu1);
    Mat mu2_2   =   mu2.mul(mu2);
    Mat mu1_mu2 =   mu1.mul(mu2);

    Mat sigma1_2, sigma2_2, sigma12;

    GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5);
    sigma1_2 -= mu1_2;

    GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5);
    sigma2_2 -= mu2_2;

    GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5);
    sigma12 -= mu1_mu2;

    / FORMULA 
    Mat t1, t2, t3;

    t1 = 2 * mu1_mu2 + C1;
    t2 = 2 * sigma12 + C2;
    t3 = t1.mul(t2);                 // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))

    t1 = mu1_2 + mu2_2 + C1;
    t2 = sigma1_2 + sigma2_2 + C2;
    t1 = t1.mul(t2);                 // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))

    Mat ssim_map;
    divide(t3, t1, ssim_map);        // ssim_map =  t3./t1;

    Scalar mssim = mean(ssim_map);   // mssim = ssim map的平均值
    return mssim;
}

结果：