背景
最近使用ffmpeg库在进行一个视频分析的相关项目。因为这个行业内原始视频的编码原因(从历史到硬件到存储空间,各种原因),使用ffmpeg在decode H264的视频的时候,一般都会decode为YUV420格式的raw data。这就需要进一步转换到RGB颜色空间,方便各种python的库或者是神经网络框架做分析。
YUV420格式的raw data在哪里呢?
经过ffmpeg相关的API进行解码后,YUV420的data就存放在AVFrame结构体里的data成员中,data成员是个指针数组,一共有8个元素(也就是8个指针),其中,每个指针指向的都是一个unsigned char* 的buffer。
当decode为YUV420格式的时候,data只有前3个unsigned char* 指针被使用了,分别存放的是Y、U、V的raw data,其中U、V的raw data长度是Y的四分之一;
当decode为RGB或者BGR的时候,data只有第一个unsigned char* 指针被使用了,存放的就是RGB或者BGR的raw data。
转换方式一:逐像素替换
因为YUV和RGB的相关性是可以通过简单的线性公式计算出来的(很容易搜索到相关的介绍)。相关的代码如下所示:
int buffer_len = pFrame->width * pFrame->height;
img_width = pFrame->width;
img_height = pFrame->height;
buffer = malloc(sizeof(uint8_t)* buffer_len * 3);