opencv获得图片的像素宽度_（二十二）OpenCV 视频的读取和处理

时间为友，记录点滴。

我们一直在讲一些图片的内容和处理，那么OpenCV可不可以处理小视频呢？No Problem。

没有扰人的公式，OpenCv提供了简洁但是强大的API接口。其实也很容易理解，什么是Vedio？不就是按照一定帧率排列起来的一个组合。两张图片播放时间间隔只要不超过了人眼视觉残留时间0.05~0.2s就可以给人以连贯的视频印象。

这也是电影24帧的由来。

VideoCapture 视频文件读取、摄像头读取、视频流读取

VideoCapture::VideoCapture()
VideoCapture::VideoCapture(const string& filename)
VideoCapture::VideoCapture(int device)

• filename – 打开的视频文件名。
• device – 打开的视频捕获设备id ，如果只有一个摄像头可以填0，表示打开默认的摄像头。

double VideoCapture::get(int propId)//用来读取视频属性

• CV_CAP_PROP_POS_MSEC 当前位置（单位:ms）
• CV_CAP_PROP_POS_FRAMES 当前位置（单位：帧数，从0开始计）
• CV_CAP_PROP_POS_AVI_RATIO 当前位置（单位：比率， 0表示开始，1表示结尾）
• CV_CAP_PROP_FRAME_WIDTH 帧宽度
• CV_CAP_PROP_FRAME_HEIGHT 帧高度
• CV_CAP_PROP_FPS 帧速率
• CV_CAP_PROP_FOURCC 4-字符表示的视频编码（如：’M‘, ’J‘, ’P‘, ’G‘）
• CV_CAP_PROP_FRAME_COUNT 总帧数
• CV_CAP_PROP_FORMAT retrieve().调用返回的矩阵格式
• CV_CAP_PROP_MODE 后端变量指示的当前捕获的模式
• CV_CAP_PROP_BRIGHTNESS 明亮度（仅用于摄像头）
• CV_CAP_PROP_CONTRAST 对比度（仅用于摄像头）
• CV_CAP_PROP_SATURATION 饱和度（仅用于摄像头）
• CV_CAP_PROP_HUE 色调（仅用于摄像头）
• CV_CAP_PROP_GAIN 增益（仅用于摄像头）
• CV_CAP_PROP_EXPOSURE 曝光度 （仅用于摄像头）
• CV_CAP_PROP_CONVERT_RGB 是否应该将图像转化为RGB图像（布尔值）
• CV_CAP_PROP_WHITE_BALANCE 白平衡（暂不支持 v2.4.3)
• CV_CAP_PROP_RECTIFICATION 立体摄像头标定 (目前仅支持 DC1394 v 2.x 后端)

VideoWriter视频写出、文件保存

本章以视频的读取为载体，再介绍两个API：

1. resize
2. medianBlur

图像内插

void cvResize( const CvArr* src, CvArr* dst, int interpolation=CV_INTER_LINEAR );  

• src：输入图像.(IplImage)
• dst：输出图像.(IplImage)
• interpolation：差值方法:
  • CV_INTER_NN - 最近邻差值
  • CV_INTER_LINEAR - 双线性差值 (缺省使用)
  • CV_INTER_AREA - 使用象素关系重采样。当图像缩小时候，该方法可以避免波纹出现。当图像放大时，类似于 CV_INTER_NN 方法
  • CV_INTER_CUBIC - 立方差值

函数cvResize 将图像 src 改变尺寸得到与 dst 同样大小（前提是dst的大小已经设定了）。若设定ROI，函数将按常规支持 ROI.

CV_EXPORTS_W void resize( InputArray src, OutputArray dst,
                          Size dsize, double fx=0, double fy=0,
                          int interpolation=INTER_LINEAR );

• src：输入，原图像，即待改变大小的图像；
• dst：输出，改变大小之后的图像，这个图像和原图像具有相同的内容，只是大小和原图像不一样而已；
• dsize：输出图像的大小。如果这个参数不为0，那么就代表将原图像缩放到这个Size(width，height)指定的大小；如果这个参数为0，那么原图像缩放之后的大小就要通过下面的公式来计算：
• dsize = Size(round(fx*src.cols), round(fy*src.rows))
• 其中，fx和fy就是下面要说的两个参数，是图像width方向和height方向的缩放比例。
• fx：width方向的缩放比例，如果它是0，那么它就会按照(double)dsize.width/src.cols来计算；
• fy：height方向的缩放比例，如果它是0，那么它就会按照(double)dsize.height/src.rows来计算；
• interpolation：这个是指定插值的方式，图像缩放之后，肯定像素要进行重新计算的，就靠这个参数来指定重新计算像素的方式，有以下几种：
  • INTER_NEAREST - 最邻近插值
  • INTER_LINEAR - 双线性插值，如果最后一个参数你不指定，默认使用这种方法
  • INTER_AREA - resampling using pixel area relation. It may be a preferred method for image decimation, as it gives moire’-free results. But when the image is zoomed, it is similar to the INTER_NEAREST method.
  • INTER_CUBIC - 4x4像素邻域内的双立方插值
  • INTER_LANCZOS4 - 8x8像素邻域内的Lanczos插值

我在另外一个专栏《数字图像处理》聊过图像的内插，看API resize的名字就知道了，这个是用来放大（缩小）图像的，那么相对于原图来说，凭空增大的像素值从何而来呢？

• 最近邻内插法

最符合普通逻辑的当然是从旁边的像素中copy过来。这种方法最简单，但是便宜没好货，它经常会造成某些直边缘的严重失真。

• 双线性内插

就是使用4个最临近的像素的去评估需要填充的像素。用公式表示：

(x, y)表示了我们要赋值的像素的位置坐标，v(x, y)表示期望的灰度值。四个系数a/b/c/d可以由4个邻点像素写出的方程式解出来。

• 双三次内插

它使用了周边16个邻点，通常效果更好，当然了，计算量更大。

表示了4x4个系数，由周边16个邻点解出来，当然，如果把i,j的上限和下限定位都定为0和1，就是双线性内插的表示方法。

中值滤波

void medianBlur(InputArray src, OutputArray dst, int ksize)

• InputArray src: 输入图像，图像为1、3、4通道的图像，当模板尺寸为3或5时，图像深度只能为CV_8U、CV_16U、CV_32F中的一个，如而对于较大孔径尺寸的图片，图像深度只能是CV_8U。
• OutputArray dst: 输出图像，尺寸和类型与输入图像一致，可以使用Mat::Clone以原图像为模板来初始化输出图像dst
• int ksize: 滤波模板的尺寸大小，必须是大于1的奇数，如3、5、7……

我在《数字图像处理》专栏中也介绍过中值滤波，而且我们在OpenCV专栏中也介绍过均值滤波。相对于均值滤波，中值滤波是一种基于排序的非线性滤波。滤波器的两个条件：

1. 一个邻域（典型的较小的矩形）
2. 对该邻域包围的图像像素执行的预定义操作组成。

中值滤波是指在通过核获得一个图像的邻域数据后，我们对这个邻域内容数据进行排序，然后使用排序的结果决定值来替代核中心像素的值。它在去除椒盐噪声上效果最明显。

C++

#include <iostream>
#include <string>
#include <opencv2/opencv.hpp>

using namespace std;
using namespace cv;

#define VEDIO_WIN_NAME	"VedioOri"
#define VEDIO_WIN_NAME1	"VedioResize"
#define VEDIO_WIN_NAME2	"VedioOut"
#define DELAY_TIME		30


static bool waitEscKey(int delayT);

int main()
{
	double fx = 0.0, fy = 0.0;
	VideoCapture capture(0);
	//VideoCapture capture("Hospital.mp4");

	if (!capture.isOpened()) 
	{
		printf("could not read this video file...n");
		return false;
	}

	Size size = Size((int)capture.get(CAP_PROP_FRAME_WIDTH),
		(int)capture.get(CAP_PROP_FRAME_HEIGHT));
	double fps = capture.get(CAP_PROP_FPS);
	int fourcc = static_cast<int>(capture.get(CAP_PROP_FOURCC));

	VideoWriter writer("outPut.mp4", fourcc, fps, Size(size.height * 2.0, size.width * 2.0), true);

	Mat frameOri, frameResize, frameOut;
	//namedWindow(VEDIO_WIN_NAME);
	namedWindow(VEDIO_WIN_NAME1);
	namedWindow(VEDIO_WIN_NAME2);
	while (capture.read(frameOri))
	{
		resize(frameOri, frameResize, Size(frameOri.cols * 2.0, frameOri.rows * 2.0), fx = 0, fy = 0, INTER_LINEAR);
		transpose(frameResize, frameResize);
		flip(frameResize, frameResize, 1);

		medianBlur(frameResize, frameOut, 11);
		//imshow(VEDIO_WIN_NAME, frameOri);
		imshow(VEDIO_WIN_NAME1, frameResize);
		imshow(VEDIO_WIN_NAME2, frameOut);
		writer.write(frameOut);

		if (true == waitEscKey(DELAY_TIME))
		{
			break;
		}
	}

	capture.release();
	writer.release();

	return true;
}

static bool waitEscKey(int delayT)
{
	char key = waitKey(delayT);
	//cout << "----" << (int)key << "----" << endl;
	if (key == 27)
	{
		return true;
	}
	if (32 == key)
	{
		while (true)
		{
			char keyRep = waitKey(0);
			if (32 == keyRep)
			{
				break;
			}

			if (27 == keyRep)
			{
				return true;
			}
		}
	}

	return false;
}

Python:

注意点：

1. 用摄像头拍出来的照片是镜像的，需要用flip旋转。至于参数，反正记不住，到时候实验吧。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author：lowkeyway time:8/19/2019

import sys
import cv2 as cv
import numpy as np

def waitEscKey(delayTime):
    keyValue = cv.waitKey(delayTime)
    if 27 == keyValue:
        return True
    if 30 == keyValue:
        while True:
            keyValue = cv.waitKey(0)
            if 27 == keyValue:
                return True
            if 30 == keyValue:
                break

    return False


def main_func(argv):
    capture = cv.VideoCapture(0)
    fps = capture.get(cv.CAP_PROP_FPS)
    w = capture.get(cv.CAP_PROP_FRAME_WIDTH)
    h = capture.get(cv.CAP_PROP_FRAME_HEIGHT)

    out = cv.VideoWriter("outPut.mp4", cv.VideoWriter_fourcc('D', 'I', 'V', 'X'), fps,
                         (int(w), int(h)), True)


    while True:
        ret, frameOri = capture.read()
        if ret is not True:
            break
        frameOri = cv.flip(frameOri, 1)
        frameOut = cv.GaussianBlur(frameOri, (5, 5), 10)
        cv.imshow("videoOri", frameOri)
        cv.imshow("videoOut", frameOut)

        out.write(frameOut)
        if True == waitEscKey(30):
            break

    capture.release()
    out.release()

if __name__ == '__main__':
    main_func(sys.argv)