本文是对OpenCV2.4.13文档的部分翻译,作个人学习之用,并不完整。
视频有两种:实时图像和预记录在硬盘中的存储文件。OpenCV使用相同C++类和相同的方法来处理。
所有对于视频输入功能必要的函数都在VideoCapture类中,这个类基于FFmpeg开源库来构建。这是OpenCV基本的依赖。
一个视频是由一系列图像组成的,书面上将其称为帧。视频文件中帧率指定了两帧之间的时长。摄像机通常会限制每秒可以数字化的帧数,这一属性并不是很重要,因为无论什么时候摄像机看到的只是当前世界的一个瞬间。
我们想要直到视频转换操作是多么细微,所以我们需要一个系统来逐帧检查相似性或差异性。最常见的算法就是PSNR。
假设有两幅图I1和I2,两个维度的大小分别是i和j,由c个通道组成:
MSE的分子值表示一个像素的最大合法值。如果一个简单的图像每个通道的每个像素只有一个字节,那这个值就是255。如果两个图像一样,MSE就会是0,导致公式中的不合法的除0计算。这样PSNR就是无定义的,我们应该将这种情况单独处理。因为像素值的范围可能很大,所以要将结果转换成对数形式。
这个过程我们用double getPSNR(const Mat& I1, const Mat& I2)函数来实现。通常视频压缩的结果值在30和50之间,这个值越高越好。如果图像差别很大,结果可能低于15。
相似性检查很容易,计算很快,然而实际中结果可能和人眼看到的不一样。需要用结构相似性算法来纠正。见Scalar getMSSIM(const Mat& i1,const Mat& i2)函数。对图像的每个通道返回一个相似性索引。这个值在0到1之间,1表示恰好符合。然而高斯模糊代价很高,所以PSNR随着环境实时执行(如24帧每秒),仍会花费更多时间来获取相似性检查的结果。因此源代码在一开始就对每帧执行PSNR,SSIM只对PSNR落后输入值时执行。为了可视化,我们将两图都显示出来并打印出PSNR和MSSIM的值。
#include <iostream> // for standard I/O
#include <string> // for strings
#include <iomanip> // 控制浮点打印的精度
#include <sstream> // 字符串转数字
#include <opencv2/core/core.hpp> // 基本的OpenCV结构(cv::Mat, Scalar)
#include <opencv2/imgproc/imgproc.hpp> // 高斯模糊
#include <opencv2/highgui/highgui.hpp> // OpenCV 窗口 I/O
using namespace std;
using namespace cv;
double getPSNR ( const Mat& I1, const Mat& I2);
Scalar getMSSIM( const Mat& I1, const Mat& I2);
static void help()
{
cout
<< "------------------------------------------------------------------------------" << endl
<< "This program shows how to read a video file with OpenCV. In addition, it "
<< "tests the similarity of two input videos first with PSNR, and for the frames "
<< "below a PSNR trigger value, also with MSSIM." << endl
<< "Usage:" << endl
<< "./video-source referenceVideo useCaseTestVideo PSNR_Trigger_Value Wait_Between_Frames " << endl
<< "--------------------------------------------------------------------------" << endl
<< endl;
}
int main()
{
help();
const string sourceReference = "Megamind.avi",
sourceCompareWith = "Megamind_bugy.avi";
int psnrTriggerValue=35,
delay=10;
char c;
int frameNum = -1; // 帧计数器
//用输入的参数创建VideoCapture
//首先你可以通过构造函数或open函数为VideoCapture类赋一个源值。如果参数是整数则你可以将这个类绑定到一个摄像机等设备。这里传入的数字就是由操作系统设定的设备的ID。如果只有一个设备连到系统,一般ID就0,将来连入的设备ID依次从这个ID开始增长。如果传入的参数是一个字符串,就是指一个视频文件,字符串就是文件的位置和名称。
//这里我们要做一个相似性检查,VideoCapture构造函数的前两个参数为一个引用和一个测试用例的视频文件,这里我们使用相对地址
VideoCapture captRefrnc(sourceReference), captUndTst(sourceCompareWith);
//检查对视频源的绑定是否成功,当对象的析构函数调用时,自动关闭视频。你也可以在关闭前调用release函数。
if (!captRefrnc.isOpened())
{
cout << "Could not open reference " << sourceReference << endl;
return -1;
}
if (!captUndTst.isOpened())
{
cout << "Could not open case test " << sourceCompareWith << endl;
return -1;
}
// 视频除了帧内容还有带有很多很多的信息,它们通常都是数字,有时可能是很短的字符序列,一般少于4个字节
// 获取这些信息可以使用一个通用的get函数,返回值就包含了这些属性。使用按位操作来从double类型解码出字符,如果有效值只有整型,可以使用类型转换。参数就是一个属性的ID
// 如果想要自己控制值,可以用set函数,第一个参数是想要改变的属性的名字(ID),第二个是一个double类型的用于设置的值,如果成功返回true,失败返回false。
// 如captRefrnc.set(CV_CAP_PROP_POS_MSEC,1.2)表示到视频的第1.2秒
// 如captRefrnc.set(CV_CAP_PROP_POS_FRAME,10)表示到视频的第10帧,此时读操作就会从这个位置开始读取帧
//帧大小
Size refS = Size((int) captRefrnc.get(CV_CAP_PROP_FRAME_WIDTH),
(int) captRefrnc.get(CV_CAP_PROP_FRAME_HEIGHT)),
uTSi = Size((int) captUndTst.get(CV_CAP_PROP_FRAME_WIDTH),
(int) captUndTst.get(CV_CAP_PROP_FRAME_HEIGHT));
//检测引用视频和测试视频的帧大小是否相同
if (refS != uTSi)
{
cout << "Inputs have different size!!! Closing." << endl;
return -1;
}
const char* WIN_UT = "Under Test";
const char* WIN_RF = "Reference";
// 创建窗口
namedWindow(WIN_RF, CV_WINDOW_AUTOSIZE);
namedWindow(WIN_UT, CV_WINDOW_AUTOSIZE);
cvMoveWindow(WIN_RF, 400 , 0); //750, 2 (bernat =0)
cvMoveWindow(WIN_UT, refS.width, 0); //1500, 2
cout << "Reference frame resolution: Width=" << refS.width << " Height=" << refS.height
<< " of nr#: " << captRefrnc.get(CV_CAP_PROP_FRAME_COUNT) << endl;
cout << "PSNR trigger value " << setiosflags(ios::fixed) << setprecision(3)
<< psnrTriggerValue << endl;
//视频的一帧其实就是一个图像,因此我们需要从VideoCapture对象中将它们导出到一个Mat对象中。
//视频流是连续的,可以用read或>>操作符来一个接一个地得到帧内容,这种操作由帧获取和对其应用解码组成,可以显式使用grab和retrieve函数来分两次执行
Mat frameReference, frameUnderTest;
double psnrV;
Scalar mssimV;
for(;;) //显示在窗口中捕获的图像并重复
{
captRefrnc >> frameReference;
captUndTst.read(frameUnderTest);
//如果读取操作获取不到帧,Mat对象可能为空(视频流关闭或读到了视频文件的最后)
if (frameReference.empty() || frameUnderTest.empty())
{
cout << " < < < Game over! > > > ";
break;
}
++frameNum;
cout << "Frame: " << frameNum << "# ";
//
/ PSNR
psnrV = getPSNR(frameReference,frameUnderTest);
cout << setiosflags(ios::fixed) << setprecision(3) << psnrV << "dB";
MSSIM /
if (psnrV < psnrTriggerValue && psnrV)
{
mssimV = getMSSIM(frameReference, frameUnderTest);
cout << " MSSIM: "
<< " R " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[2] * 100 << "%"
<< " G " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[1] * 100 << "%"
<< " B " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[0] * 100 << "%";
}
cout << endl;
// Show Image /
imshow(WIN_RF, frameReference);
imshow(WIN_UT, frameUnderTest);
c = (char)cvWaitKey(delay);
if (c == 27) break;
}
return 0;
}
//相似性检查
double getPSNR(const Mat& I1, const Mat& I2)
{
Mat s1;
absdiff(I1, I2, s1); // |I1 - I2|
s1.convertTo(s1, CV_32F); // 不能对8位二进制数平方,要先转化为32位整型
s1 = s1.mul(s1); // |I1 - I2|^2
Scalar s = sum(s1); // 每个通道的元素求和
double sse = s.val[0] + s.val[1] + s.val[2]; // 对通道求和
if( sse <= 1e-10) // 小值返回0
return 0;
else
{
double mse = sse / (double)(I1.channels() * I1.total());
double psnr = 10.0 * log10((255 * 255) / mse);
return psnr;
}
}
//相似性检查纠正
Scalar getMSSIM( const Mat& i1, const Mat& i2)
{
const double C1 = 6.5025, C2 = 58.5225;
/***************************** INITS **********************************/
int d = CV_32F;
Mat I1, I2;
i1.convertTo(I1, d); // 不能对一个字节长度的值计算,先转换为整型
i2.convertTo(I2, d);
Mat I2_2 = I2.mul(I2); // I2^2
Mat I1_2 = I1.mul(I1); // I1^2
Mat I1_I2 = I1.mul(I2); // I1 * I2
/*************************** END INITS **********************************/
Mat mu1, mu2; // PRELIMINARY COMPUTING
GaussianBlur(I1, mu1, Size(11, 11), 1.5);
GaussianBlur(I2, mu2, Size(11, 11), 1.5);
Mat mu1_2 = mu1.mul(mu1);
Mat mu2_2 = mu2.mul(mu2);
Mat mu1_mu2 = mu1.mul(mu2);
Mat sigma1_2, sigma2_2, sigma12;
GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5);
sigma1_2 -= mu1_2;
GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5);
sigma2_2 -= mu2_2;
GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5);
sigma12 -= mu1_mu2;
/ FORMULA
Mat t1, t2, t3;
t1 = 2 * mu1_mu2 + C1;
t2 = 2 * sigma12 + C2;
t3 = t1.mul(t2); // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))
t1 = mu1_2 + mu2_2 + C1;
t2 = sigma1_2 + sigma2_2 + C2;
t1 = t1.mul(t2); // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))
Mat ssim_map;
divide(t3, t1, ssim_map); // ssim_map = t3./t1;
Scalar mssim = mean(ssim_map); // mssim = ssim map的平均值
return mssim;
}
结果: