ffmpeg解码带B帧视频时，输入包和输出帧的对应关系分析

已于 2024-06-14 16:13:46 修改
阅读量214 收藏
点赞数 2
文章标签： ffmpeg 视频编解码
于 2024-06-14 02:46:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dc626351280/article/details/139667717
版权

 最近又在倒腾ffmpeg了，拿抖音下载的mp4视频测试解码，发现是带B帧的，分析了下ffmpeg解码时输入输出的细节，算是解决了些以前的疑问。附上分析日志

n4.4.4-94-g5d07afd482-20240331

0x14dc80
run in
0x376a300
"open imput ok! {D:\\Qt\\ffmpeg\\ffmpeg-n4.4.4-source+builds\\ffmpeg-n4.4.4-94-g5d07afd482-win64-gpl-4.4\\bin\\1.mp4} video index = 0"
0x174700 0x376a300 0x108200 0
openDecode for stream type: video(0), format: h264(27)
decoder is ready
new QImage 720 1280
sws_getContext 720 1280

##################################################################
日志说明
frame的pkt_dts, pkt_pts不用关心，对frame来说，只关心其pts即可
packet的dts和pts都是重要的
key=1表示是关键包（I包）
#号后面是pict_type，1就是I帧，2=p帧，3=B帧

##################################################################
	# （下面）拿到首个packet，dts=-10，编码器认为这是当前的时间。
	# 解码完成，输出时找缓存帧序列，没有pts值与当前时间相同的帧，不输出。
	# 这个packet是个I包，其实是可以直接输出的，但是这种滑窗的机制决定了暂不输出。
	# 这样可以保证正式输出开始后，后续frame都能连续输出。
	# 也就是后续都是输入一个packet，输出一个frame（frame可能
	# 是当前packet解码得到的，也可能是之前packet解码得到的。）
	# 解码器保证了输出时的帧顺序和动画本身显示顺序是一致的。
[0] packet: <dts=-10, pts=1014, key: 1, size=55634>                  I包
got_frame =  0                                      


	# 一样的，更新当前时间，解码，输出也没有找到pts=502的帧，不输出
	# 这实际是个P包，当前不能去显示它，因为它显示的帧号还靠后
[1] packet: <dts=502, pts=3062, key: 0, size=14410>                  P包
got_frame =  0

	# 一样的，更新当前时间为dts=1024，解码完成，
	# 找到一个缓存帧pts=1014，输出
	# 这个帧就是第一个packet解码得到的帧，是个i帧。
	# frame序列输出正式开始，这套机制保证后面都能连续输出
	# 这其实是个中间B包，其依赖两端的I、P帧
[2] packet: <dts=1014, pts=2038, key: 0, size=2816>                  B2包
[2] frame: <pkt_dts=1014, pkt_pts = 1014, pts=1014, key:0 #1#>       I帧


	# 这包数据解码完成，正好找到自身pts与当前时间相等，直接输出
	# 这其实是第一个B包（B1），其依赖前面的I帧和后一个B帧、
	# 以及最后的P帧
[3] packet: <dts=1526, pts=1526, key: 0, size=742>                   B1包
[3] frame: <pkt_dts=1526, pkt_pts = 1526, pts=1526, key:0 #3#>       B1帧


	# 输入第三个B包（B3）
[4] packet: <dts=2038, pts=2550, key: 0, size=339>                   B3包
[4] frame: <pkt_dts=2038, pkt_pts = 2038, pts=2038, key:0 #3#>       B2帧

	# 输入下一轮的P包，I帧还是前面的
[5] packet: <dts=2550, pts=5110, key: 0, size=14520>                 P包'
[5] frame: <pkt_dts=2550, pkt_pts = 2550, pts=2550, key:0 #3#>       B3帧

	# 下一轮的中间B包（B2包'）
[6] packet: <dts=3062, pts=4086, key: 0, size=4801>                  B2包'
[6] frame: <pkt_dts=3062, pkt_pts = 3062, pts=3062, key:0 #2#>       P帧（前面第一个P帧）

##################################################################
至此，一小轮的输入输出完成了，输入7个包，输出5帧
输入顺序：I->P->B2->B1->B3->P'->B2'
输出顺序：       I->B1->B2->B3->P
输出顺序其实就是我们希望的显示顺序
文件流、网络流（只要是packet序列，其实都不一定是按照自然顺序（显示顺序）存放或传输的
（如果只有I/P编码，则和显示顺序一致，有B帧存在的情况，则未必了，比如这里的情况）
ffmpeg或者其它视频编解码器，帮我们屏蔽了这些细节，使输出的帧就是显示序列

##################################################################
[7] packet: <dts=3574, pts=3574, key: 0, size=2267>
[7] frame: <pkt_dts=3574, pkt_pts = 3574, pts=3574, key:0 #3#>


[8] packet: <dts=4086, pts=4598, key: 0, size=193>
[8] frame: <pkt_dts=4086, pkt_pts = 4086, pts=4086, key:0 #3#>


[9] packet: <dts=4598, pts=7158, key: 0, size=14551>
[9] frame: <pkt_dts=4598, pkt_pts = 4598, pts=4598, key:0 #3#>



[10] packet: <dts=5110, pts=6134, key: 0, size=5257>
[10] frame: <pkt_dts=5110, pkt_pts = 5110, pts=5110, key:0 #2#>



[11] packet: <dts=5622, pts=5622, key: 0, size=726>
[11] frame: <pkt_dts=5622, pkt_pts = 5622, pts=5622, key:0 #3#>
[12] packet: <dts=6134, pts=6646, key: 0, size=2169>
[12] frame: <pkt_dts=6134, pkt_pts = 6134, pts=6134, key:0 #3#>
[13] packet: <dts=6646, pts=9206, key: 0, size=18546>
[13] frame: <pkt_dts=6646, pkt_pts = 6646, pts=6646, key:0 #3#>
[14] packet: <dts=7158, pts=8182, key: 0, size=5896>
[14] frame: <pkt_dts=7158, pkt_pts = 7158, pts=7158, key:0 #2#>
[15] packet: <dts=7670, pts=7670, key: 0, size=816>
[15] frame: <pkt_dts=7670, pkt_pts = 7670, pts=7670, key:0 #3#>
[16] packet: <dts=8182, pts=8694, key: 0, size=2840>
[16] frame: <pkt_dts=8182, pkt_pts = 8182, pts=8182, key:0 #3#>
[17] packet: <dts=8694, pts=11254, key: 0, size=14489>
[17] frame: <pkt_dts=8694, pkt_pts = 8694, pts=8694, key:0 #3#>
[18] packet: <dts=9206, pts=10230, key: 0, size=3248>
[18] frame: <pkt_dts=9206, pkt_pts = 9206, pts=9206, key:0 #2#>
[19] packet: <dts=9718, pts=9718, key: 0, size=866>
[19] frame: <pkt_dts=9718, pkt_pts = 9718, pts=9718, key:0 #3#>
[20] packet: <dts=10230, pts=10742, key: 0, size=345>
[20] frame: <pkt_dts=10230, pkt_pts = 10230, pts=10230, key:0 #3#>
[21] packet: <dts=10742, pts=12790, key: 0, size=14771>
[21] frame: <pkt_dts=10742, pkt_pts = 10742, pts=10742, key:0 #3#>
[22] packet: <dts=11254, pts=11766, key: 0, size=3836>
[22] frame: <pkt_dts=11254, pkt_pts = 11254, pts=11254, key:0 #2#>

附上加了排水模式处理的日志，包和帧单独计数（每行开头的[ ]）

排水模式用于把解码器最后的几帧取出来，规则就是按pts顺序依次输出。因为packet本身无效，因此输出帧的dts也无效

ref: FFmpeg-视频解码-YUV数据.md · 苦涩冰糖/myBlogMarkdown - Gitee.com

n4.4.4-94-g5d07afd482-20240331

0xa7ba00
run in
0x37b0180
"open imput ok! {D:\\Qt\\ffmpeg\\ffmpeg-n4.4.4-source+builds\\ffmpeg-n4.4.4-94-g5d07afd482-win64-gpl-4.4\\bin\\1.mp4} video index = 0"
0xaa0900 0x37b0180 0xa3b900 0
openDecode for stream type: video(0), format: h264(27)
decoder is ready
new QImage 720 1280
sws_getContext 720 1280
[0] packet: <dts=-10, pts=1014, key: 1, size=55634>
[1] packet: <dts=502, pts=3062, key: 0, size=14410>
[2] packet: <dts=1014, pts=2038, key: 0, size=2816>
[0] frame: <pkt_dts=1014, pts=1014, key:0 #1#>
[3] packet: <dts=1526, pts=1526, key: 0, size=742>
[1] frame: <pkt_dts=1526, pts=1526, key:0 #3#>
[4] packet: <dts=2038, pts=2550, key: 0, size=339>
[2] frame: <pkt_dts=2038, pts=2038, key:0 #3#>
[5] packet: <dts=2550, pts=5110, key: 0, size=14520>
[3] frame: <pkt_dts=2550, pts=2550, key:0 #3#>
[6] packet: <dts=3062, pts=4086, key: 0, size=4801>
[4] frame: <pkt_dts=3062, pts=3062, key:0 #2#>
[7] packet: <dts=3574, pts=3574, key: 0, size=2267>
[5] frame: <pkt_dts=3574, pts=3574, key:0 #3#>
[8] packet: <dts=4086, pts=4598, key: 0, size=193>
[6] frame: <pkt_dts=4086, pts=4086, key:0 #3#>
[9] packet: <dts=4598, pts=7158, key: 0, size=14551>
[7] frame: <pkt_dts=4598, pts=4598, key:0 #3#>
[10] packet: <dts=5110, pts=6134, key: 0, size=5257>
........中间部分省略
[248] frame: <pkt_dts=127990, pts=127990, key:0 #2#>
[251] packet: <dts=128502, pts=129526, key: 0, size=50>
[249] frame: <pkt_dts=128502, pts=128502, key:0 #2#>
[252] packet: <dts=129014, pts=130038, key: 0, size=3030>
[250] frame: <pkt_dts=129014, pts=129014, key:0 #1#>
[253] packet: <dts=129526, pts=130550, key: 0, size=34758>
[251] frame: <pkt_dts=129526, pts=129526, key:0 #2#>
[254] packet: <dts=130038, pts=131574, key: 0, size=11346>
[252] frame: <pkt_dts=130038, pts=130038, key:0 #2#>
[255] packet: <dts=130550, pts=131062, key: 0, size=223>
[253] frame: <pkt_dts=130550, pts=130550, key:0 #1#>
[256] packet: <dts=131062, pts=132086, key: 0, size=379>
[254] frame: <pkt_dts=131062, pts=131062, key:0 #3#>
av_read_frame: End of file

draining mode
[255] frame: <pkt_dts=-9223372036854775808, pts=131574, key:-1 #2#>
[256] frame: <pkt_dts=-9223372036854775808, pts=132086, key:-1 #2#>
avcodec_receive_frame: End of file (-541478725)

draining over
total: 257 257
run out

super 6O
关注
FFmpeg之录像时去掉B帧(三十三)
Android系统攻城狮
11-08 337
【代码】FFmpeg之录像时去掉B帧(三十三)
【ffmpeg】视频解码器
MichaelKongChina的博客
08-29 1990
本文主要阐述了使用ffmpeg解码的相关内容： 1.解码理论 2.ffmpeg代码配置验证 3.ffmpeg解码的流程 4.ffmpeg解码过程中API解析 5.ffmpeg解码过程中数据结构解析
ueditor上传视频后播放有声音无图像
weixin_45412594的博客
09-08 829
ueditor上传视频后播放有声音无图像 ueditor上传视频后，访问网页发现视频有声音无图像，解决办法 在网上看到好多关于修改ueditor配置文件的，一一尝试后发现问题仍然存在，于是想到会不会是视频编码格式的问题，导致视频不能正常播放，最终尝试后，解决办法如下： 1.下载格式工厂，安装完成后导入视频 2.导入视频后，点击左上角多媒体文件信息查看视频编码格式 3.如图所示，发现视频编码格式为MPEG-4 4.点击输出配置，选择AVC高质量和大小 5.保存成功，重新上传视频，发现视频播放正常 问题分
FFmpeg转码B帧
qq_31231915的博客
03-31 2965
三种方法 此去除B帧的方法只适用于采用 libx264 编码器编码的视频 引用链接：ffmpeg x264 选项指南 第一种参数中加 -bf 0 ffmpeg -i test.mp4 -vcodec libx264 -bf 0 test-640x480.h264 1 ffmpeg -i test.mp4 -vcodec libx264 -x264opts "bframes=0" test-640x480.h264 1 第三种 参数中加 -profile:v baseline ffmpeg
ffmpeg 解码b帧_FFmpeg 之I、B、P帧的基本编码原理（三）
weixin_39737947的博客
12-22 760
1、I帧的基本编码原理上篇说过，MPEG-1主要在时间冗余和空间冗余两个方向上，去除冗余数据。时间冗余是帧与帧之间产生的冗余数据，而空间冗余则是单帧图像中，相邻像素间产生的冗余数据。对于I帧来说，因为它是关键帧，既不需要参考过去的帧，也不需要参考将来的帧。所以对I帧的编码，是为了消除空间冗余数据，而且它采用的压缩算法，和JPEG类似。如下图：I帧的压缩编码算法从图中可以看到，如果图像是用RGB颜色...
ffmpeg源码分析--10.视频帧IPB
wangcong02345的专栏
09-05 854
ffmpeg源码分析--10.视频帧IPB
live555+ffmpeg如何提取关键帧（I帧，P帧，B帧）
热门推荐
03-18 1万+
live555+ffmpeg如何提取关键帧（I帧，P帧，B帧）开发流媒体播放器的时候，特别是在windowsmobile,symbian(S60)平台开发时，很可能遇到需要自己开发播放器的情况。S60平台提供了CVideoPlayUtility接口可以实现流媒体播放器，但由于非开源，所以相对于自己开发播放器，很多操作受到限制。live555主要用于网络流接收，ffmpeg则
一文读懂 Android FFmpeg 视频解码过程与实战分析
最新发布
2401_84149836的博客
04-18 1139
使用返回视频媒体流下一帧到AVPacket中。如果函数返回的 int 值是 0 则是Success，如果小于 0 则是Error或者EOF。因此如果在播放视频时返回的是小于 0 的值，调用函数重置解码器的状态，flush 缓冲区中的内容，然后再 seek 到当前传入的时间戳处，完成解码后的回调，再让同步锁进行等待。// 读取码流中的音频若干帧或者视频一帧，// 这里是读取视频一帧（完整的一帧），获取的是一帧视频的压缩数据，接下来才能对其进行解码// 防止解最后一帧时视频已经没有数据。
FFmpeg中与视频解码相关知识简介
irainsa的博客
04-17 620
总之，FFmpeg是一个非常强大的多媒体解决方案，可以用来处理各种音频和视频格式。在视频解码过程中，需要了解视频解码器、帧率控制、解码器输出格式、视频编码格式等相关知识，才能正确地解码视频数据。
多媒体视频开发_(30)使用ffmpeg在视频中进行抽帧
hairuiJY
01-22 7132
基于ffmeg进行抽帧共有四种方式： 抽取视频关键帧(I/P/B) 抽取视频场景转换帧 根据时间进行均匀抽帧 抽取指定时间的视频帧 1.抽取视频关键帧(IPB): 视频关键帧（Video Keyframes）是用于视频压缩和视频编解码的帧，视频关键帧是包含了完整信息的帧，其他的非关键帧将会使用与关键帧的差值进行压缩。视频帧具体可以分为IPB帧三种： I帧表示关键帧，是最完整的帧画面，一般视频封面都选择I帧； P帧单预测帧，利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码； B帧双向预测帧，利用双
【FFmpeg视频播放器开发】解封装解码流程、常用API和结构体简介（一）
yinshipin007的博客
12-16 1204
比如说，解码的时候存储了宏块类型表，QP 表，运动矢量表等数据。例如，FLV 格式的数据，经过解封装操作后，输出 H.264 编码的视频码流和 AAC 编码的音频码流。★文末名片可以免费领取音视频开发学习资料，内容包括（C/C++，Linux 服务器开发，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。例如，解码视频的时候，每解码一个视频帧，需要先调用av_read_frame()获得一帧视频的压缩数据，然后才能对该数据进行解码。
FFmpeg 之I、B、P帧的基本编码原理，我们用最详细的方式解析Android消息机制的源码
m0_65145113的博客
12-17 918
那什么是高频和低频呢？这里的高频数据是指，图像颜色的变化比较强烈的地方，比如人像画的轮廓与背景的交叉处，在这里的色值变化很快，所以称为高频。相对的低频就是指，颜色变化比较缓和的地方。所以DCT的作用并不是对数据进行压缩，而是为了方便后面的操作，比如量化、RLE行程编码、以及霍夫曼编码。 下一步就是量化，因为人眼对高频区域其实并不敏感，所以利用这一点，可以将高频部分数据进行压缩。这样一来，图块的数据就会呈现两部分，一部分是变化平滑的低频数据，另一部分是刚压缩过的高频部分，数值也变得差不多。而后再经过Zig-z
视频编解码（一）：ffmpeg编码H.264帧类型判断
yinshipin007的博客
04-19 1844
之前看过很多网上的文章，讲述如何判断I帧，B帧，P帧，然而都是停留在H.264官方文档中的定义，如果不结合ffmpeg，就仿佛纸上谈兵，有点不切实际，而且很多文章将I帧与I Slice混为一谈，将I Slice当做I帧，这其实是错的。AV_PICTURE_TYPE_NONE：有三种帧类型输出：I帧，B帧，P帧，根据gop_size与max_b_frames设置I帧与B帧间隔。AV_PICTURE_TYPE_P：输出为I帧与P帧，max_b_frames要设置为0。I帧间隔由gop_size设置。
ffmpeg--转码参数调整
evsqiezi
03-15 6214
  H.264有四种画质级别,分别是baseline, extended, main, high： 1、Baseline Profile：基本画质。支持I/P 帧，只支持无交错（Progressive）和CAVLC； 2、Extended profile：进阶画质。支持I/P/B/SP/SI 帧，只支持无交错（Progressive）和CAVLC；(用的少) 3、Main profile：...
时间戳 音视频同步
liulina603的专栏
08-14 2466
http://6352513.blog.51cto.com/6342513/1180742 http://blog.csdn.net/happydeer/article/details/206765 http://blog.csdn.net/sidumqz/article/details/53102623 对pts、dts、duration的处理主要集中在两大函数里面 1、process_input()读入数据并处理，放到滤镜里面 2、reap_filters()从滤镜读出数据，处理后写入文件 媒体内容在播
关于FFMPEG 中I帧、B帧、P帧、PTS、DTS
凌风探梅的专栏
02-05 3253
1 基本概念 1.1 名词解释 媒体：是表示，传输，存储信息的载体，常人们见到的文字、声音、图像、图形等都是表示信息的媒体。 多媒体： 是声音、动画、文字、图像和录像等各种媒体的组合，以图文并茂，生动活泼的动态形式表现出来，给人以很强的视觉冲击力，留下深刻印象 多媒体技术：是将文字、声音、图形、静态图像、动态图像与计算集成在一起的技术。它要解决的问题是计算机进一步帮助人类按最自然的和最习惯
ffmpeg基础(五) I帧B帧P帧
qq_34062754的博客
12-21 2809
I帧：关键帧，属于帧内压缩，你可以理解为这一画面的完整保留。解码的时候只需要本帧的数据就可以完成，因为它包含的是完整信息。 P帧：属于帧间压缩，表示这一帧与前面的一关键帧(或者P帧)的差别，解码前需要用缓存的画面叠加本帧定义的差别，生成最终画面。 B帧：属于帧间压缩，表示双向差别帧，记录的是本帧与前后帧的差别。 ...
ffmpeg 解码b帧_FFmpeg视频抽帧
05-27
要使用FFmpeg解码B帧和视频抽帧，可以结合使用avcodec_send_packet()和avcodec_receive_frame()函数进行解码，然后使用av_write_frame()函数将解码后的帧写入输出文件。具体步骤如下： 1. 初始化FFmpeg ``` av_register_all(); avcodec_register_all(); ``` 2. 打开输入文件 ``` AVFormatContext *inputFormatCtx = NULL; avformat_open_input(&inputFormatCtx, inputFilePath, NULL, NULL); avformat_find_stream_info(inputFormatCtx, NULL); ``` 3. 找到视频流 ``` AVCodec *inputCodec = NULL; int videoStreamIndex = av_find_best_stream(inputFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, &inputCodec, 0); AVCodecContext *inputCodecCtx = inputFormatCtx->streams[videoStreamIndex]->codec; ``` 4. 打开解码器 ``` avcodec_open2(inputCodecCtx, inputCodec, NULL); ``` 5. 初始化输出文件 ``` AVFormatContext *outputFormatCtx = NULL; avformat_alloc_output_context2(&outputFormatCtx, NULL, NULL, outputFilePath); avio_open(&outputFormatCtx->pb, outputFilePath, AVIO_FLAG_WRITE); ``` 6. 写入输出文件头 ``` avformat_write_header(outputFormatCtx, NULL); ``` 7. 读取帧数据并解码 ``` AVPacket packet; AVFrame *frame = av_frame_alloc(); while (av_read_frame(inputFormatCtx, &packet) == 0) { if (packet.stream_index == videoStreamIndex) { avcodec_send_packet(inputCodecCtx, &packet); while (avcodec_receive_frame(inputCodecCtx, frame) == 0) { // do something with the decoded frame, e.g. write to output file av_write_frame(outputFormatCtx, frame); } } av_packet_unref(&packet); } ``` 8. 写入输出文件尾 ``` av_write_trailer(outputFormatCtx); ``` 9. 释放资源 ``` avformat_close_input(&inputFormatCtx); avcodec_free_context(&inputCodecCtx); avformat_free_context(inputFormatCtx); avformat_free_context(outputFormatCtx); av_frame_free(&frame); ``` 这样，就可以使用FFmpeg解码B帧和视频抽帧了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值