【西电|视觉媒体通信】YUV转RGB

目的

读取无压缩视频文件（YUV格式），转换成RGB格式显示。

工具

Visual Studio、OpenCV、C++、FFMPEG。

代码

注意：文件路径要使用"C:\\..."或"C:/"，不要使用"C:\"，因为"\"在C++中是转义符号。

注意：OpenCV版本为"3.4.16"，FFMPEG版本为"gyan.dev -> ffmpeg-6.1.1-full-build-shared.7z"。

注意：OpenCV、FFMPEG需要在Visual Studio中安装。

#define _CRT_SECURE_NO_WARNINGS
// 不加这行会报错
#include <iostream>
#include <opencv2/opencv.hpp>

#define YUV_FILE "YUV文件位置"
#define HEIGHT 480
#define WIDTH 832
#define FRAME_RATE 30
// 待转换的YUV视频及其视频高度、宽度、帧率

using namespace std;
using namespace cv;

void YUV2RGB(unsigned char* pYUV, unsigned char* pRGB, int width, int height)
{
	unsigned char* pY = pYUV;
	unsigned char* pU = pYUV + (height * width);
	unsigned char* pV = pU + (height * width / 4);
	// Y,U,V 分量初始位置

	for (int i = 0; i < height; ++i)
	{
		for (int j = 0; j < width; ++j)
		{
			int yIndex = i * width + j;
			int uvIndex = (i / 2) * (width / 2) + (j / 2);
			// 不同行列(i, j)对应的Y,U,V分量的索引

			unsigned char Y = pY[yIndex];
			unsigned char U = pU[uvIndex];
			unsigned char V = pV[uvIndex];
			// 不同位置Y,U,V分量的值

			int C = Y - 16;
			int D = U - 128;
			int E = V - 128;
			unsigned char R = saturate_cast<uchar>((298 * C + 409 * E + 128) >> 8);
			unsigned char G = saturate_cast<uchar>((298 * C - 100 * D - 208 * E + 128) >> 8);
			unsigned char B = saturate_cast<uchar>((298 * C + 516 * D + 128) >> 8);
			pRGB[(i * width + j) * 3 + 0] = B;
			pRGB[(i * width + j) * 3 + 1] = G;
			pRGB[(i * width + j) * 3 + 2] = R;
			// YUV -> RGB 转换公式
			// C、D、E将Y、U、V减去一个偏移值，调整其有限范围到一个中心对称的范围，便于计算
			// R = [0, 255]((298 * C + 409 * E + 128)/256) 除以256即右移8位
            // saturate_cast 保证运算结果范围为 0 - 255
		}
	}
}

int main()
{
	FILE* f = fopen(YUV_FILE, "rb");
	if (!f)
	{
		cerr << "Error: Could not open " << YUV_FILE << " for reading." << endl;
		return -1;
	}

	Mat yuvMat(HEIGHT + HEIGHT / 2, WIDTH, CV_8UC1);
	Mat rgbMat(HEIGHT, WIDTH, CV_8UC3);

	bool isRunning = true;

	while (isRunning)
	{
		if (fread(yuvMat.data, 1, yuvMat.total() * yuvMat.elemSize(), f) != yuvMat.total() * yuvMat.elemSize())
		{
			cerr << "Error: Reading YUV frame failed." << endl;
			isRunning = false;
			break;
		}

		YUV2RGB(yuvMat.data, rgbMat.data, WIDTH, HEIGHT);

		imshow("YUV", yuvMat);
		imshow("RGB", rgbMat);

		if (waitKey(1000 / FRAME_RATE) >= 0)
			isRunning = false;
	}

	fclose(f);
	destroyAllWindows();
	return 0;
}

使用FFMPEG生成YUV文件（将MKV文件转写为长832高480YUV-I420格式的YUV文件）

ffmpeg -i TEST.mkv -s 832x480 -pix_fmt yuv420p TEST.yuv

使用FFMPEG查看YUV文件格式

ffprobe -show_format -video_size 832x480 TEST.yuv

使用FFMPEG播放YUV文件

ffplay -video_size 832x480 -i TEST.yuv

原理

YUV像素排列

由于YUV420 I420的存储格式，Y分量优先排列，个数与画面像素个数相等。
进行完Y分量的排列后，再进行数据长度为的U分量的排列，最后是V分量的排列。
U、V分量个数相等，同为四分之一的画面像素个数。

YUV-I420格式像素点排列

Y	Y	Y	Y
Y	Y	Y	Y
Y	Y	Y	Y
Y	Y	Y	Y
U	U	U	U
V	V	V	V

Y、U、V的对应关系

Y		Y
	U V
Y		Y

处于对角线的每四个Y像素点对应一对U、V像素点。

YUV转RGB公式

C = Y - 16
D = U - 128
E = V - 128
R = (298 * C + 409 * E + 128) / 256
G = (298 * C - 100 * D - 208 * E + 128) / 256
B = (298 * C + 516 * D + 128) / 256