AVFrame存储YUV420P对齐分析

最新推荐文章于 2024-05-29 16:21:47 发布
最新推荐文章于 2024-05-29 16:21:47 发布
阅读量5.2k 收藏 7
点赞数 2
分类专栏： ffmpeg 文章标签： YUV对齐
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dancing_night/article/details/80830920
版权

1、概述

被这个问题困扰很久，由于懒癌晚期，一直都是云里雾里，最近终于把微信聊天记录里的视频分析了一下，记录于此已做备忘。

2、分析过程

用ffmpeg写了个解码程序，遍历微信聊天视频目录找出所有视频文件，一个600多个，挨个解码，并把其长宽，AVFrame.linesize[0],AVFrame.linesize[1],AVFrame.linesize[2]打印出来，做对比，终于发现一些规律。下面是打印log（宽相同并且linesize[0]， linesize[1]， linesize[2]相同的只打印第一个）：


可以发现其中linesize[0]是64位对齐，linesize[1]、linesize[2]为linesize[0]的一半。

然后又打印宽度和linesize[0]不一致的视频中对齐的部分（只打印第一帧的第一行）：


填充大部分是0x00，也有一些其他值，先简单的总结填充字节没规律吧。

然后把每个视频的第一帧生成yuv，生成代码如下（也就是把填充字节丢掉）：

if (pYUVFile != NULL)
{
	for(int j=0; j<height; j++)
		fwrite(frame->data[0] + j * frame->linesize[0], 1, width, pYUVFile);  
	for(int j=0; j<height/2; j++)  
		fwrite(frame->data[1] + j * frame->linesize[1], 1, width/2, pYUVFile);  
	for(int j=0; j<height/2; j++)  
		fwrite(frame->data[2] + j * frame->linesize[2], 1, width/2, pYUVFile);

	fclose(pYUVFile);
}
并用雷神改写的yuv播放器播放，完全清晰，也不错位，如果把填充字节也保存，会出现花，或者错位。

3、代码

/* 
 *基于最简单的FFmpeg的解码器做的YUV420对齐分析
 *
 *缪国凯
 *821486004@qq.com
 *
 *本程序实现了视频解码保存为yuv，写yuv是用文件方式写的，没用到muxer，用作AVFrame里YUV420对齐分析
 */


#ifdef	__cplusplus
extern "C"
{
#endif
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
//#include "libavfilter/avfiltergraph.h"
//#include "libavfilter/avcodec.h"
//#include "libavfilter/buffersink.h"
//#include "libavfilter/buffersrc.h"
//#include "libavutil/avutil.h"
//#include "libavutil/opt.h"
//#include "libavutil/pixdesc.h"
 
#pragma comment(lib, "avcodec.lib")
#pragma comment(lib, "avformat.lib")
#pragma comment(lib, "avutil.lib")
//#pragma comment(lib, "avdevice.lib")
//#pragma comment(lib, "avfilter.lib")
//#pragma comment(lib, "postproc.lib")
//#pragma comment(lib, "swresample.lib")
//#pragma comment(lib, "swscale.lib")
#ifdef __cplusplus
};
#endif

#include <stdio.h>
#include <string>
#include <vector>
#include <map>
#include <iostream>
#include <io.h>

AVFormatContext *ifmt_ctx = NULL;
 
 
int openinputfile(const char* filename)
{
	int ret = 0;
	//open the input
	if ((ret = avformat_open_input(&ifmt_ctx, filename, NULL, NULL)) < 0)
	{
		printf("can not open input\n");
		return ret;
	}
	if ((ret = avformat_find_stream_info(ifmt_ctx, NULL)))
	{
		printf("can not find input stream info\n");
		return ret;
	}
 
	//open the decoder
	for (int i = 0; i < ifmt_ctx->nb_streams; i++)
	{
		if (ifmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
		{
			ret = avcodec_open2(ifmt_ctx->streams[i]->codec, 
				avcodec_find_decoder(ifmt_ctx->streams[i]->codec->codec_id), NULL);
 
			if (ret < 0)
			{
				printf("can not open decoder\n");
				return ret;
			}
 
		}
	}
 
	return 0;
}

typedef struct _videoInfo
{
	int _H;
	int _L0;
	int _L1;
	int _L2;

	bool operator==(const _videoInfo &_Right)
	{
		if ((_L0 == _Right._L0) && (_L1 == _Right._L1) && (_L2 == _Right._L2))
		{
			return true;
		}
		return false;
	}	

	_videoInfo(const _videoInfo &_Right)
	{
		_H = _Right._H;
		_L0 = _Right._L0;
		_L1 = _Right._L1;
		_L2 = _Right._L2;
	}

	_videoInfo(int _h, int _l0, int _l1, int _l2)
	{
		_H = _h;
		_L0 = _l0;
		_L1 = _l1;
		_L2 = _l2;
	}

	_videoInfo()
	{
		_H = 0;
		_L0 = 0;
		_L1 = 0;
		_L2 = 0;
	}

}VideoInfo;

int main()
{
	
	AVPacket pkt_in, pkt_out;
	AVFrame *frame = NULL;
	unsigned int stream_index;
	av_register_all();

	std::vector<std::string> tmpVec;
	std::string path = "C:\\Users\\Administrator\\Documents\\WeChat Files\\evil-sight\\Video";
	
	FILE *pLogFile = NULL;
	pLogFile = fopen("testYUVAlign", "w");

	FILE *pYUVLogFile = NULL;
	pYUVLogFile = fopen("testYUVAlign_YUVData", "w");

	std::map<int, VideoInfo> videoInfoMap;

	int VideoIndex = 0;
	
	long hFile = 0;
	struct _finddata_t fileInfo;
	std::string pathName, exdName;
	// \\* 代表要遍历所有的类型
	if ((hFile = _findfirst(pathName.assign(path).append("\\*").c_str(), &fileInfo)) == -1) 
	{
		return 0;
	}
	do 
	{
		if (!(fileInfo.attrib&_A_SUBDIR))
		{
			std::string tmpStr = fileInfo.name;
			tmpStr = tmpStr.substr(tmpStr.find('.') + 1);
			//if (tmpStr == "mp4")
			{
				tmpStr = fileInfo.name;

				std::string tmpPath = path + "/" + tmpStr;

				if (openinputfile(tmpPath.c_str()) < 0)
				{
					printf("failed to open input file\n");
					goto end;
				}

				while(1)
				{
					if (av_read_frame(ifmt_ctx, &pkt_in) < 0)
					{
						break;
					}
					pkt_out.data = NULL;
					pkt_out.size = 0;
					av_init_packet(&pkt_out);
					stream_index = pkt_in.stream_index;
					frame = av_frame_alloc();
					int got_frame = -1;
					int ret = -1;

					if (ifmt_ctx->streams[stream_index]->codec->codec_type == AVMEDIA_TYPE_VIDEO && ifmt_ctx->streams[stream_index]->codec->pix_fmt == AV_PIX_FMT_YUV420P)
					{
						ret = avcodec_decode_video2(ifmt_ctx->streams[stream_index]->codec, frame, &got_frame, &pkt_in);

						if (ret < 0)
						{
							av_frame_free(&frame);
							printf("decoding video stream failed\n");
							break;
						}

						if (got_frame)
						{
							VideoIndex++;

							int height = ifmt_ctx->streams[stream_index]->codec->height;
							int width = ifmt_ctx->streams[stream_index]->codec->width;


							{
								

								//if (width != frame->linesize[0])
								{
									float tmpf = width / 16.0;
									float tmpf1 = frame->linesize[0] / 16.0;
									float tmpf2 = tmpf1 / 4.0;
									float tmpf3 = ((float)frame->linesize[0]) / frame->linesize[1];
									float tmpf4 = ((float)frame->linesize[0]) / frame->linesize[2];
									float tmpf5 = ((float)frame->linesize[0]) / 64.0;

									bool bPrint = false;
									if (videoInfoMap.find(width) == videoInfoMap.end())
									{
										bPrint = true;
										videoInfoMap[width]._H = height;
										videoInfoMap[width]._L0 = frame->linesize[0];
										videoInfoMap[width]._L1 = frame->linesize[1];
										videoInfoMap[width]._L2 = frame->linesize[2];
									}
									else
									{
										VideoInfo tmpVI(height, frame->linesize[0], frame->linesize[1], frame->linesize[2]);
										if (!(tmpVI == videoInfoMap[width]))
										{
											bPrint = true;
										}
									}

									if(bPrint)
									{
										fprintf(pLogFile, "name = %s, VS:% 4d x% 4d, L0 = % 4d, L1 = % 4d, L2 = % 4d, L0/L1 = %.02f, L0/L2 = %.02f, W/16=%.02f, L0/16=%.02f, (L0/16)/4=%.02f, (L0/64)=%.02f\n",
											tmpStr.c_str(), width, height, frame->linesize[0], frame->linesize[1], frame->linesize[2], tmpf3, tmpf4, tmpf, tmpf1, tmpf2, tmpf5);


										if ((frame->linesize[0] - width) != 0)
										{
											fprintf(pYUVLogFile, "name = %s, VS:% 4d x% 4d, L0 = % 4d, L1 = % 4d, L2 = % 4d, L0/L1 = %.02f, L0/L2 = %.02f, W/16=%.02f, L0/16=%.02f, (L0/16)/4=%.02f, (L0/64)=%.02f\n",
												tmpStr.c_str(), width, height, frame->linesize[0], frame->linesize[1], frame->linesize[2], tmpf3, tmpf4, tmpf, tmpf1, tmpf2, tmpf5);

											fprintf(pYUVLogFile, "(frame->linesize[0] - width = %02d):  ", frame->linesize[0] - width);
											for (int i = width; i < frame->linesize[0]; i++)
											{
												fprintf(pYUVLogFile, "%02X ", frame->data[0][i]);
											}

											fprintf(pYUVLogFile, "\n\n");
										}


										//write a yuv file
										{

											std::string strYUVFileName = tmpStr.substr(0, tmpStr.find('.'));
											strYUVFileName = "../TestVideo/" + strYUVFileName;
											char chYUVFileName[256];
											sprintf(chYUVFileName, "%s_%dx%d.yuv", strYUVFileName.c_str(), width, height);

											FILE *pYUVFile = fopen(chYUVFileName, "w+b");

											if (pYUVFile != NULL)
											{
												for(int j=0; j<height; j++)
													fwrite(frame->data[0] + j * frame->linesize[0], 1, width, pYUVFile);  
												for(int j=0; j<height/2; j++)  
													fwrite(frame->data[1] + j * frame->linesize[1], 1, width/2, pYUVFile);  
												for(int j=0; j<height/2; j++)  
													fwrite(frame->data[2] + j * frame->linesize[2], 1, width/2, pYUVFile);

												fclose(pYUVFile);
											}
										}
									}

									printf("name = %s, VS:% 4d x% 4d, L0 = % 4d, L1 = % 4d, L2 = % 4d, L0/L1 = %.02f, L0/L2 = %.02f, W/16=%.02f, L0/16=%.02f, (L0/16)/4=%.02f, (L0/64)=%.02f\n",
										tmpStr.c_str(), width, height, frame->linesize[0], frame->linesize[1], frame->linesize[2], tmpf3, tmpf4, tmpf, tmpf1, tmpf2, tmpf5);
								}

								break;
							}
						}
					}
				}
end:
				avformat_close_input(&ifmt_ctx);
			}
		}
	} while (_findnext(hFile, &fileInfo) == 0);
	_findclose(hFile);
	 
	fprintf(pLogFile, "analyze file num %d\n", VideoIndex);
	fclose(pLogFile);

	fclose(pYUVLogFile);

	printf("press any key continue\n");
	getchar();
	return 0;
}

4、结论

AVFrame中保存YUV420P，的Y按64位对齐，UV为Y的一半。


5、工程下载

工程地址

dancing_night
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
yuv420p一帧数据
02-22
在数字视频处理领域，YUV420P是一种常见的颜色空间表示方式，它被广泛用于存储和传输视频数据。这个格式特别适用于节省带宽和存储空间，因为它将图像的色彩信息进行了分层处理。让我们深入了解一下YUV420P以及如何...
基于最简单的FFmpeg的解码器做的YUV420对齐分析
06-27
在“基于最简单的FFmpeg的解码器做的YUV420对齐分析”项目中，我们将深入理解如何利用FFmpeg进行视频解码，并将解码后的数据保存为YUV格式，特别关注YUV420的像素对齐问题。 首先，FFmpeg中的解码器（Decoder）负责...
FFmpeg视频解码中的YUV420P格式
热门推荐
老王的技术博客
05-30 2万+
参考文章 在做基于FFmpeg解码的视频播放时，需要涉及到帧数据存储的YUV与RGB格式，所以了解了一下，参考下述博文。 https://blog.csdn.net/lanxiaziyi/article/details/74139729#avframe-%E4%B8%8E-yuv420%E9%82%A3%E4%BA%9B%E4%BA%8B 发展史 视网膜存在三种视锥细胞，分别含有对红...
ffmpeg之-AVFrame解析(五)
翻肚鱼儿的博客
10-29 2969
前言 AVFrame 位于libavutil/frame.h中，AVpacket一样，是FFmpeg中很重要的结构体。它用于表示未压缩的音视频数据(编码前或者解码后)，使用了引用计数机制来管理内存 源码 首先是源码部分(基于ffmpeg版本为4.2)，已去掉注释部分 typedef struct AVFrame { #define AV_NUM_DATA_POINTERS 8 uint8_t *data[AV_NUM_DATA_POINTERS]; int linesize[.
AVFrame结构体分析
最新发布
m0_51386664的博客
05-29 508
在FFmpeg的源代码中，AVFrame的定义可以在avframe.h头文件中找到。其结构定义较为复杂，这里只简要描述其主要字段。AVFrame是FFmpeg中非常重要的数据结构，用于存储和处理音频和视频帧。理解其各个字段及其作用对于处理多媒体数据非常关键。通过对这些字段的了解，开发者可以更有效地使用FFmpeg库进行多媒体处理任务。
FFmpeg内存对齐
u012117034的博客
11-08 1159
为什么要做内存对齐呢？为了提高内存的访问效率，举个例子。 因为某些32位的 CPU，每个总线周期都是从偶地址
Ffmpeg中AVFrame数据保存成YUV--讨论AVFrame的linesize
weixin_37515325的博客
01-04 1838
Ffmpeg中AVFrame数据保存成YUV--讨论AVFrame的linesize
写YUV420文件碰到阶梯型横线或者条纹状画面的原因和解决办法
asdasfdgdhh的博客
01-19 1492
写YUV文件碰到阶梯型横线原因和解决办法。 FFmpeg中AVFrame中width与linesize的关系
ffmpeg学习日记8-YUV的几个知识点
WenCoo的博客
02-10 1006
ffmpeg学习日记8-YUV的几个知识点 介绍yuv相关的文章有很多，其中找到的相关概念我就不在这里介绍了，我在这里记录几点我作为新手是琢磨了很久才理解几个点。 YUV420P的存储读写问题 frame结构中存储的就是yuv数据，yuv三种数据在内存中是连续的，当pix_fmt=PIX_FMT_YUV420P时，data中的数据是按照YUV的格式存储的，也就是： data -->YYYYYYYYYYYYYYUUUUUUUUUUUUUVVVVVVVVVVVV ^ ^ ^ | | | data[0] d
使用FFMPEG编码YUV420P成H264
04-23
YUV420P是一种常见的无损视频色彩空间，而H264则是一种高效的有损视频压缩标准，广泛应用于网络视频传输和存储。 首先，我们需要理解YUV420P和H264之间的区别。YUV420P是YUV颜色模型的一个变种，它将图像数据分为三...
usb摄像头视频采集及格式转换yuv420
07-31
该压缩包包含两部分：视频采集类、视频格式转换类，视频采集类根据用户传入的设备名字、帧率、视频大小进行视频采集，而采集类中包含一个视频转换类，视频转换类负责将摄像头采集的数据转为yuv420，并将尺寸转为用户...
ffmpeg编程读取摄像头信息，保存为裸yuv420p、yuyv422视频流
01-05
在本文中，我们将探讨如何使用FFmpeg编程接口来读取摄像头输入，并将其保存为裸格式的YUV420p和YUYV422视频流。 首先，我们需要了解YUV色彩空间。YUV是视频编码中常用的一种颜色模型，主要用于降低存储和传输的带宽...
Android OpenGL处理YUV数据（I420、NV12、NV21）
03-27
本篇文章将详细探讨如何使用OpenGL处理YUV数据，特别是I420、NV12和NV21这三种常见的YUV格式。 首先，理解YUV色彩空间至关重要。Y代表亮度（Luma），U和V代表色度（Chrominance），它们通常以低于亮度通道采样率的...
YUV编码H264
11-24
YUV420P是YUV格式的一种，它将图像分解为亮度（Y）和两个色度（Cb和Cr）分量，其中Y是每个像素的亮度信息，Cb和Cr分别代表蓝色和红色的差异信息。这种格式将亮度信息的分辨率保持为原始图像的分辨率，而色度信息则被...
FFmpeg实现YUV420P视频序列转RGB24视频序列（VC2010）
06-11
YUV420P是一种常见的视频色彩空间，它以一种节省带宽的方式存储视频数据，将亮度（Y）和两个色度（U和V）分隔存储，适用于存储和传输视频。而RGB24是另一种色彩空间，每个像素由红、绿、蓝三种颜色的8位值组成，总共...
Android播放yuv视频文件
12-17
本篇文章将深入探讨如何在Android上播放YUV420p格式的视频文件，并利用FFmpeg库将其转换为RGBA格式以便于在Android视图上显示。 首先，我们需要了解YUV420p格式。这是一种分量色彩空间，由三个分量组成：Y（亮度）...
YUV笔记
hijunmeng的专栏
04-08 1280
文章目录YUV笔记YUV420P参考 YUV笔记 做过视频编解码的对YUV肯定比较熟悉,而YUV有多种采样，如下图，在我们实际开发当中遇到最多的就是YUV420 YUV420P yuv420就是每4个y共享一组uv,也就是说每个像素点都有一个y与之对应，每4个像素点共用同一组uv,了解了这个就可以很容易计算出图像的yuv的大小为 size(yuv)=widthheight3/2，就是宽高大...
yuv420P数据对AVFrame的赋值, 从AVFrame中取值yuv
chinabinlang的专栏
07-31 4789
AVFrame *pict = new AVFrame； FILE * fyuv = fopen("G:\\352x288.yuv","rb"); int nfilelen = ( width * height * 3 )/2; BYTE * pbuf = new BYTE[nfilelen]; fread(pbuf,1,nfilelen,fyuv); fclo...
【音视频原理】图像相关概念 ⑦ ( YUV 跨距 Stride 对齐 | YUV 跨距 概念 | YUV 跨距对齐 概念 | YUV 跨距 Stride 对齐示例 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
01-22 1750
一、 YUV 跨距 ( Stride ) 对齐 1、YUV 跨距 概念 2、YUV 跨距对齐 概念 二、 YUV 跨距 ( Stride ) 对齐示例 1、YUV420P 数据存储 2、跨距对齐分析
FFmpeg AVFrame转yuv420的完整代码
03-06
以下是FFmpeg AVFrame转yuv420的完整代码： ``` // 初始化AVFrame AVFrame* frame = av_frame_alloc(); frame->format = AV_PIX_FMT_YUV420P; frame->width = width; frame->height = height; // 分配AVFrame的数据空间 int ret = av_frame_get_buffer(frame, 32); if (ret < ) { // 错误处理 } // 将AVFrame转换为YUV420格式 struct SwsContext* sws_ctx = sws_getContext( width, height, AV_PIX_FMT_RGB24, width, height, AV_PIX_FMT_YUV420P, SWS_BILINEAR, NULL, NULL, NULL); if (!sws_ctx) { // 错误处理 } uint8_t* in_data[1] = { rgb_data }; int in_linesize[1] = { 3 * width }; ret = sws_scale(sws_ctx, in_data, in_linesize, , height, frame->data, frame->linesize); if (ret < ) { // 错误处理 } // 释放SwsContext sws_freeContext(sws_ctx); ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dancing_night

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值