OpenCV读写视频(编解码器)

编解码器codec概念

如果是图像文件我们可以通过文件扩展名得知图像的格式，但是视频文件并不适用，在opencv中，都是avi视频文件，有些能用opencv打开，有些则不能。

视频的格式主要由压缩算法决定。压缩算法称之为编码器（coder），解压算法称之为解码器（decoder），编解码算法统称为编解码器（codec）。

视频文件能读或者写，关键看是否有相应的编解码器。编解码器的种类非常多，比如MJPG,XVID,DIVX等，因此视频文件的扩展名往往只能表示这是一个视频文件。

编码格式

视频容器中，一般有视频和音频数据，它们采取的编码方式不一样。

视频常见的编码方式通常有： x264、h264、mpeg-4

音频常见的编码方式通常有： mp3、AAC、flac

编码的目的主要是为了高效存储和传输，如果你不采用编码压缩的话，那么视频可以看做是一系列的图片序列，体积会非常大。

写视频

与读视频不同的是，需要在创建视频时设置一系列参数，包括文件名，编解码器，帧率，高度和宽度等。编解码器使用四个字符表示，可以是CV_FOURCC(‘M’,‘J’,‘P’,‘G’),CV_FOURCC(‘D’, ‘I’, ‘V’, ‘X’)等。

将图像写入视频可以使用VideoWriter::write(),VideoWriter类函数中也重载了<<操作符,另外需要注意的是：待写入的图像尺寸必须与创建视频时指定的尺寸一致

VideoWriter
构造函数：

VideoWriter writer(const string& filename, int fourcc, double fps,Size frameSize, bool isColor=true);

参数说明：

文件名，codec，帧率，宽和高

fourcc 表示所使用的编码方式，为四个字符用来表示压缩帧的codec

如果输入-1，会弹出一个选择对话框来选择编码器

视频编解码器，视频容器和视频文件格式之间的区别

​ 视频文件由两部分组成：编解码器(codec)和容器( container)。

1. ​视频编解码器是用于对视频进行编码和解码的协议。常见的编解码器包括H.264，MPEG-4和DivX。精心设计的编解码器具有很高的效率，或者可以在减小文件大小的同时保持质量。
2. 容器(文件格式,file format)是文件元数据和数据结构的定义，不包括视频的实际编码方式（编解码器确定）。容器文件保存使用编解码器编码的元数据和压缩视频数据。容器格式通常也称为“格式”，并反映在文件的扩展名中。常见的容器格式括.AVI，.MP4和.MOV。容器格式可以与不同的编解码器配对，这些编解码器会影响文件兼容的设备和程序。

目前常见的视频编解码格式如下

由于视频编码的主要任务是缩小视频文件的存储空间，因此，视频编码又称视频压缩编码或视频压缩，简单地说就是去除视频数据中的冗余信息。可以对视频或音频进行编码(encode)和解码(decode )的程序（或硬件）称为编解码器( codec)。

在图像/视频处理中通常使用的工具库有ffmpeg和opencv。

opencv 中视频流数据的编解码可以分为两个步骤：

1. 使用 VideoCapture视频捕获对象，去捕获视频流， opencv会自动完成视频流的解码操作，并返回视频流的编码格式、帧率等信息。
2. VideoWriter_fourcc获取对应编解码器的fourcc字节码标识符，VideoWrite 生成一个写入器

获取视频流的编码格式

​参考fourcc编码规范，可以得到解码方式

def get_video_format(cap):
    """
    get video format
    """
    raw_codec_format = int(cap.get(cv.CAP_PROP_FOURCC))
    decoded_codec_format = (chr(raw_codec_format & 0xFF), chr((raw_codec_format & 0xFF00) >> 8),
                            chr((raw_codec_format & 0xFF0000) >> 16), chr((raw_codec_format & 0xFF000000) >> 24))
    return decoded_codec_format

参考：

1. 视频的编解码格式：https://zhuanlan.zhihu.com/p/143720720
2. 基于opencv实现视频流的编解码和存储：https://zhuanlan.zhihu.com/p/143993517

常见的视频编解码器

有一些常见的视频编解码器可以满足你的大部分需求：

H.264

MPEG-4

DivX的

MPEG-2

HEVC（H.265）

H.264

可能最常见的，特别是HD，是H.264。它是更高效的编解码器之一，允许更小的文件大小，同时保持高质量，并提供无损或有损压缩的选项。它与.MP4容器兼容，可以在许多不同的播放器和流媒体服务上播放。

MPEG-4

另一种非常常见的在线流式编解码器是MPEG-4编解码器。MPEG-4中的较新标准（特别是MPEG-4第10部分）与H.264相同，而较旧的MPEG-4第2部分则略有不同。MPEG-4具有非常广泛的兼容性。

DivX的

DivX与开源版本XviD一样，是一种较旧的编解码器，旨在最大限度地提高视频质量，但代价是文件要大得多。它通常用于各种商业环境中，对文件大小的关注较少。

MPEG-2

作为MPEG-4的前身，MPEG-2是用于DVD和早期蓝光光盘的标准编解码器。它不常用于流媒体视频。使用MPEG-2的专业相机编解码器是HDV和XDCAM。

HEVC（H.265）

新的视频编解码器不断发展，以跟上现代技术的步伐。HEVC，也称为H.265，是一种这样的编解码器，旨在为4K视频和蓝光提供更高效的压缩。这是GoPro广泛使用的视频压缩标准，用于捕获其视频内容的一半大小。

视频容器

视频容器将视频的所有元素捆绑并存储到一个包中。元素包括视频和音频流，字幕，视频元数据，编解码器等。

每种视频容器类型都与某些视频编解码器兼容。你的视频编辑软件应该只允许你选择兼容的配对，尝试提前规划你想要使用的编解码器和容器，以避免在你渲染最终视频时遇到问题。

常见的视频容器

像视频编解码器一样，有常见的视频容器：

MP4

AVI

MOV

FLV

WMV

MP4

容器可能是最接近当前存在的通用标准的容器。它可以使用所有版本的MPEG-4和H.264，并与众多播放器兼容。使用.MP4容器的视频可以具有相对较小的文件大小，同时保持高质量。许多最大的流媒体服务，包括YouTube和Vimeo，都更喜欢.MP4。

AVI

最古老和最普遍接受的视频文件格式之一是.AVI。它可以使用大量的编解码器，从而产生各种不同的文件设置。虽然.AVI视频可以在各种播放器上播放，但文件大小往往很大，因此不太适合流式传输或下载。对于计划存储在计算机上的视频，这是一个很好的选择。

MOV（Quicktime）

Apple开发了.MOV容器，可与其Quicktime播放器配合使用。使用.MOV的视频通常具有非常高的质量，但也具有相当大的文件大小。Quicktime视频与非Quicktime播放器的兼容性不高，但有第三方播放器会读取它们。

FLV（Flash）

由于文件非常小，浏览器插件和第三方Flash视频播放器非常小，因此.FLV视频专为Adobe的Flash播放器制作，多年来非常普遍。最近Flash视频出现了大幅下滑，因为Flash插件越来越不受欢迎。

WMV（Windows Media）

Windows Media视频往往具有最小的文件大小，如果你需要通过电子邮件或其他具有文件大小限制的方法发送，这使它们成为一个很好的选择。然而，这伴随着质量显着下降的权衡。.WMV的一个常见用途是将视频预览通过电子邮件发送给客户。

你应该使用什么视频文件格式

考虑如何分发和传送视频。对于大多数视频创作者来说，.MP4和H.264是一个不错的选择。它是YouTube的首选格式，提供小文件大小和高质量的混合。它通常可用于摄像机。它也可以在大多数设备上播放。

确定最佳文件格式取决于你的特定需求。请注意你的受众群体以及他们将如何观看你的视频。请参阅我们上述所说的，了解常见的编解码器和容器，以帮助你做出决定。

参考：https://www.ucastcn.com/news/60.html