ffmpeg解封、解码实战

已于 2023-01-31 20:46:51 修改
阅读量562 收藏 1
点赞数
分类专栏： FFmpeg实践 文章标签： ffmpeg 视频编解码
于 2023-01-31 20:45:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38731735/article/details/127587877
版权

1 概述

在这里插入图片描述
在这里插入图片描述

2 解封装相关函数接口

avformat_alloc_context();负责申请一个AVFormatContext结构的内存,并进行简单初始化
avformat_free_context();释放该结构里的所有东西以及该结构本身
avformat_close_input();关闭解复用器。
avformat_open_input();打开输入视频文件
avformat_find_stream_info()：获取视频文件信息
av_read_frame(); 读取音视频包
avformat_seek_file(); 定位文件
av_seek_frame():定位文件

3 解封装流程

在这里插入图片描述

如何区分不同的媒体类型，这里FFmpeg中采用AVMediaType定义。

enum AVMediaType {
    AVMEDIA_TYPE_UNKNOWN = -1,  ///< Usually treated as AVMEDIA_TYPE_DATA
    AVMEDIA_TYPE_VIDEO,
    AVMEDIA_TYPE_AUDIO,
    AVMEDIA_TYPE_DATA,          ///< Opaque data information usually continuous
    AVMEDIA_TYPE_SUBTITLE,
    AVMEDIA_TYPE_ATTACHMENT,    ///< Opaque data information usually sparse
    AVMEDIA_TYPE_NB
};

4 解封装AAC音频

4.1 AAC简介

AAC⾳频格式：Advanced Audio Coding(⾼级⾳频解码)，是⼀种由MPEG-4标准定义的有损⾳频压缩格式，由Fraunhofer发展，Dolby, Sony和AT&T是主要的贡献者。
ADIF：Audio Data Interchange Format ⾳频数据交换格式。这种格式的特征是可以确定的找到这个⾳频数据的开始，不需进⾏在⾳频数据流中间开始的解码，即它的解码必须在明确定义的开始处进⾏。故这种格式常⽤在磁盘⽂件中。
ADTS：全称是Audio Data Transport Stream。是AAC⾳频的传输流格式。AAC⾳频格式在MPEG-2（ISO-13318-7 2003）中有定义。AAC后来⼜被采⽤到MPEG-4标准中。这种格式的特征是它是⼀个有同步字的⽐特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。在实时通信中主要使用ADTS格式进行数据传输。

4.2 AAC协议格式

ADTS格式的⾳频流。两者具体的组织结构如下所示：
• AAC的ADIF格式见下图：
在这里插入图片描述
• AAC的ADTS的⼀般格式见下图，空⽩处表示前后帧：
在这里插入图片描述
经验：开发过程中编码AAC裸流的时候，会遇到写出来的AAC⽂件并不能在PC和⼿机上播放，很⼤的可能就是AAC⽂件的每⼀帧⾥缺少了ADTS头信息⽂件的包装拼接。只需要加⼊头⽂件ADTS即可。⼀个AAC原始数据块⻓度是可变的，对原始帧加上ADTS头进⾏ADTS的封装，就形成了ADTS帧。

4.3 ADTS头解析

AAC⾳频⽂件的每⼀帧由ADTS Header和AAC Audio Data组成。结构体如图：
在这里插入图片描述
每⼀帧的ADTS的头文件都包含了音频的采样率，声道，帧长度等信息，这样解码器才能解析读取。
⼀般情况下ADTS的头信息都是7个字节，分为2部分：
adts_fixed_header();
adts_variable_header();
其⼀为固定头信息，紧接着是可变头信息。固定头信息中的数据每⼀帧都相同，⽽可变头信息则在帧与帧之间可变。

4.3.1 固定头协议信息

在这里插入图片描述
syncword ：同步头 总是0xFFF, all bits must be 1，代表着⼀个ADTS帧的开始
ID：MPEG标识符，0标识MPEG-4，1标识MPEG-2
Layer：always: ‘00’
protection_absent：表示是否误码校验。Warning, set to 1 if there is noCRC and 0 if there is CRC
profile：表示使⽤哪个级别的AAC，如01 Low Complexity(LC)— AAC LC。有些芯⽚只⽀持AAC LC 。
在MPEG-2 AAC中定义了3种：
在这里插入图片描述
profile的值等于 Audio Object Type的值减1
profile = MPEG-4 Audio Object Type - 1
在这里插入图片描述
sampling_frequency_index：表示使⽤的采样率下标，通过这个下标在Sampling Frequencies[ ]数组中查找得知采样率的值。
channel_configuration: 表示声道数，⽐如2表示⽴体声双声道
在这里插入图片描述

4.3.2 可变头协议信息

在这里插入图片描述
frame_length : ⼀个ADTS帧的⻓度包括ADTS头和AAC原始流.frame length, this value must include 7 or 9 bytes of header length:aac_frame_length = (protection_absent == 1 ? 7 : 9) + size(AACFrame)protection_absent=0时, header length=9bytesprotection_absent=1时, header length=7bytes
adts_buffer_fullness：0x7FF 说明是码率可变的码流。
number_of_raw_data_blocks_in_frame：表示ADTS帧中有number_of_raw_data_blocks_in_frame + 1个AAC原始帧。所以说number_of_raw_data_blocks_in_frame == 0 表示说ADTS帧中有⼀个AAC数据块。

5 解封装H264视频

5.1 H264协议概述

H.264/AVC 标准于 2003 年首次发布。它建立在 MPEG-2 和 MPEG-4 Visual 等早期标准的概念之上，并提供了更好的压缩效率（即更好的压缩视频质量）和更大的灵活性的潜力用于压缩、传输和存储视频。在ITU的标准⾥称为H.264，在MPEG的标准⾥是MPEG-4的⼀个组成部分–MPEG-4 Part 10，⼜叫Advanced Video Codec，因此常常称为MPEG-4 AVC或直接叫AVC。

5.2 H264编码原理

在音视频传输过程中，视频文件的传输是一个极大的问题；一段分辨率为19201080，每个像素点为RGB占用3个字节，帧率是25的视频，对于传输带宽的要求是：19201080325/1024/1024=148.315MB/s，换成bps则意味着视频每秒带宽为1186.523Mbps，这样的速率对于网络存储是不可接受的。因此视频压缩和编码技术应运而生。
对于视频文件来说，视频由单张图片帧所组成，比如每秒25帧，但是图片帧的像素块之间存在相似性，因此视频帧图像可以进行图像压缩；H264采用了16*16的分块大小对，视频帧图像进行相似比较和压缩编码。如下图所示：
在这里插入图片描述

5.3 帧类型

H264中的I帧、P帧和B帧
H264使⽤帧内压缩和帧间压缩的⽅式提⾼编码压缩率；H264采⽤了独特的I帧、P帧和B帧策略来实现，连续帧之间的压缩；
在这里插入图片描述

帧的分类全称意义
I帧帧内编码帧 intra pictureI 帧通常是每个 GOP（MPEG 所使⽤的⼀种视频压缩技术）的第⼀个帧，经过适度地压缩，做为随机访问的参考点，可以当成图象。I帧可以看成是⼀个图像经过压缩后的产物。⾃身可以通过视频解压算法解压成⼀张单独的完整的图⽚。
P帧前向预测编码帧predictive-frame通过充分将低于图像序列中前⾯已编码帧的时间冗余信息来压缩传输数据量的编码图像，也叫预测帧。需要参考其前⾯的⼀个I frame 或者P frame来⽣成⼀张完整的图⽚。
B帧双向预测帧 bi-directional interpolated prediction frame既考虑与源图像序列前⾯已编码帧，也顾及源图像序列后⾯已编码帧之间的时间冗余信息来压缩传输数据量的编码图像,也叫双向预测帧。则要参考其前⼀个I或者P帧及其后⾯的⼀个P帧来⽣成⼀张完整的图⽚。

压缩率 B > P > I

5.4 H264编码结构解析

H264除了实现了对视频的压缩处理之外，为了⽅便⽹络传输，提供了对应的视频编码和分⽚策略；类似于⽹络数据封装成IP帧，在H264中将其称为组(GOP, group of pictures)、⽚（slice）、宏块（Macroblock）这些⼀起组成了H264的码流分层结构；H264将其组织成为序列(GOP)、图⽚(pictrue)、⽚(Slice)、宏块(Macroblock)、⼦块(subblock)五个层次。GOP （图像组）主要⽤作形容⼀个IDR帧 到下⼀个IDR帧之间的间隔了多少个帧。
在这里插入图片描述

5.5 IDR帧

⼀个序列的第⼀个图像叫做 IDR 图像Instantaneous Decoding Refresh（⽴即刷新图像），IDR 图像都是 I 帧图像。I和IDR帧都使⽤帧内预测。I帧不⽤参考任何帧，但是之后的P帧和B帧是有可能参考这个I帧之前的帧的。IDR就不允许这样。⽐如（解码的顺序）：
IDR1 P4 B2 B3 P7 B5 B6 I10 B8 B9 P13 B11 B12 P16 B14 B15 这⾥的B8可以跨过I10去参考P7
原始图像： IDR1 B2 B3 P4 B5 B6 P7 B8 B9 I10
IDR1 P4 B2 B3 P7 B5 B6 IDR8 P11 B9 B10 P14 B11 B12 这⾥的B9就只能参照IDR8和P11，不可以参考IDR8前⾯的帧
其核⼼作⽤是，是为了解码的重同步，当解码器解码到 IDR 图像时，⽴即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始⼀个新的序列。这样，如果前⼀个序列出现重⼤错误，在这⾥可以获得重新同步的机会。IDR图像之后的图像永远不会使⽤IDR之前的图像的数据来解码。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.6 NALU结构

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.7 NALU头部解析

在这里插入图片描述

类型全称中文说明
F(1bit)禁⽌位forbidden_zero_bitH.264 规范中规定了这⼀位必须为 0
R(2bit)重要性指示位 bit nal_ref_idc取00~11,似乎指示这个NALU的重要性,如00的NALU解码器可以丢弃它⽽不影响图像的回放，0～3，取值越⼤，表示当前NAL越重要，需要优先受到保护。如果当前NAL是属于参考帧的⽚，或是序列参数集，或是图像参数集这些重要的单位时，本句法元素必需⼤于0。
T(5bit)负荷数据类型 nal_unit_type这个NALU单元的类型,1～12由H.264使⽤，24～31由H.264以外的应⽤使⽤

NALU荷载类型：参考文档 H.264 : Advanced video coding for generic audiovisual services
• 5 IDR图像的编码条带
• 6 辅助增强信息 (SEI)
• 7 序列参数集(SPS)
• 8 图像参数集(PPS)
在这里插入图片描述
在这里插入图片描述

响箭零零一
关注
专栏目录
FFmpeg入门详解之43：FFmpeg解封装的原理与实战
福优学苑@音视频+流媒体
09-26 558
根据流程可以推到出。
ffmpeg 推流MP4文件，采用rtmp协议
无极生太极
12-09 3889
本程序ffmpeg版本是：ffmpeg version 3.2.4 Copyright © 2000-2017 the FFmpeg developers。 不同ffmpeg版本会稍微有点不同，比如最明显ffmpeg 4.0和ffmpeg 3.0少了一些注册类函数（如：av_register_all（））还有编解码函数方式等。 本程序是经过ffmpeg 推流FLV文件，采用rtmp协议这个例子修改而来的。 下面分二部分： 一、和上面例子有那些区分； 二、源代码分享 一、和上面例子有那些区分； 1、赋值配置.
FFMpeg 实现视频编码、解码
yinshipin007的博客
04-18 2123
FFMpeg 作为音视频领域的开源工具，它几乎可以实现所有针对音视频的处理，本文主要利用 FFMpeg 官方提供的 SDK 实现音视频最简单的几个实例：编码、解码、封装、解封装、转码、缩放以及添加水印。接下来会由发现问题－＞分析问题－＞解决问题－＞实现方案，循序渐进的完成。
ffmpeg 如何跳帧或者丢帧解码，以降低cpu和内存占用
百鸣的专栏
03-30 6740
需要注意的是，跳帧或丢帧解码可能会对视频质量产生一定的影响，因此需要根据实际情况进行权衡和测试。此外，这些命令也需要根据不同的视频格式和编解码器进行调整，以达到最佳的性能和效果。
ffmpeg解码audio文件的时候，实现seek功能（即解码指定时间位置的数据）
密码开发者
10-18 7394
ffmpeg解码的时候，往往需要seek功能，直接跳到所关心的时间位置进行解码。比如制作播放器的时候，可以seek到任意位置播放。 我们可以通过ffmpeg API av_seek_frame()来定位解码的位置，该函数能根据设定的时间，定位到该时间对应的帧位置。随后我们继续使用API av_read_frame()/avcodec_decode_audio3()读取帧、并解码。 需要注意的是
FFmpeg的H.264解码器源代码简单分析：宏块解码（Decode）部分-帧内宏块（Intra）
热门推荐
雷霄骅(leixiaohua1020)的专栏
04-20 3万+
本文分析FFmpeg的H.264解码器的宏块解码（Decode）部分的源代码。FFmpeg的H.264解码器调用decode_slice()函数完成了解码工作。这些解码工作可以大体上分为3个步骤：熵解码，宏块解码以及环路滤波。本文分析这3个步骤中的第2个步骤。由于宏块解码部分的内容比较多，因此将本部分内容拆分成两篇文章：一篇文章记录帧内预测宏块（Intra）的宏块解码，另一篇文章记录帧间预测宏块（
FFmpeg 解封装与解码
qq_42873492的博客
01-05 228
【代码】FFmpeg 解封装与解码。
C++编程FFMpeg实时美颜直播推流实战-基于ffmpeg，qt5，opencv视频课程-夏曹俊-专题视频课程...
老夏课堂-夏曹俊的技术专栏
08-22 2776
C++编程FFMpeg实时美颜直播推流实战视频培训教程，本课程基于ffmpeg，qt5，opencv进行实战教学。 基于c++编程，掌握录制视频（rtsp和系统相机）录制音频（qt）开发方法，掌握音视频各类参数含义，掌握音视频编码（h264+acc），磨皮美颜（opencv）,音视频封装（flv），基于rtmp协议推流。多线程处理技术。掌握nginx-rtmp和crtmpserver的直播服务器...
音视频学习--iOS适配H265实战踩坑记
irainsa的博客
03-15 591
熟悉webrtc都知道：谷歌的webrtc，默认不支持h265，毕竟涉及到很多专利的事宜，这中间的八卦就暂时不做探究。但是今天拿到一个IPC，该设备会发送H265数据，如下图所示，要做到兼容相关IPC，只能适配H265编解码了。所以最近熬秃了好几把头发就做了一下相关知识的学习，以下是自己的学习笔记，提供大家一个解决问题思路，由于iOS刚接触，同时H265调试经验也欠缺，很多都是一边查找资料，一边学习的，难免有处理不妥当之处，欢迎一起讨论学习，开发大神请绕行。补充1 H265编码特性。
三分钟带你学会用ffmpeg解帧合帧
Guo_Python的博客
04-13 2860
1. 解帧，把视频变为图片 ffmpeg -i "input.mp4" -r 5 output_dir/frame%04d.jpg 参数说明：-i 输入 -r 帧率 output_dir里面存放解帧好的图片 ffmpeg version 2.8.15-0ubuntu0.16.04....
FFmpeg解码视频保存为一帧帧jpg图片
10-02
FFmpeg解码视频把指定时间的图像帧保存为jpg图片，并且可以执行FFmpeg命令。
ffmpeg 指定时间解码 av_seek_frame
03-08
实现了对固定时间开始解码的功能，使用av_seek_frame函数，讲解过程。学习ffmpeg的必备资料
ffmpeg解析视频保存帧图像
05-21
利用ffmpeg解析.mp4视频文件，提取视频帧保存成.ppm图像，在linux中先安装ffmpeg然后编译即可使用
ffmpeg-解码视频一个视频帧的步骤
爱自在的专栏
03-16 2855
1. 打开文件，avformat_open_input， 将文件信息存储在 AVFormatContext 中。 2. 在文件信息中查找流索引 avformat_find_stream_info 3. 根据流的解码器类型来找到视频流索引号 知道视频流索引就可以把视频流解码器信息保存在 AVCodecContext 中。 4. 可以根据解码器信息查找到解码器avcodec_find_de...
使用ffmpeg将视频解码为帧时，图像质量很差
最新发布
weixin_42408280的博客
04-02 1195
导致这种原因的是在使用ffmpeg.exe指令进行解帧或合并时使用的是默认的视频码率：200kb/s。-r选项是属于图片的属性，因此在指令中需要放在图片命令之前，即放到“-f image2 img/%03d.jpg”之前；-b:v选项在指令中需要放在图片命令之前，即放到“-f image2 img/%03d.jpg”之前，否则不生效。-f image2：表示输出格式为图像格式，后面的3d表示图片编号3位数，%03d表示不够位数的补零；-r 或-framerate ：代表帧率，表示每秒取出2张图；
windows下使用FFmpeg开源库进行视频编解码完整步聚
10-25 1468
3.复制已编译FFmpeg库到工程同级目录下。4.在工程引用FFmpeg库及头文件。2.在控件属性窗口中输入默认值。5.链接指定FFmpeg库。6.使用FFmpeg库。创建视频编解码管理类。实现视频编解码管理类。
基于FFmpeg实现简单的视频解码器
yinshipin007的博客
05-21 1282
但这些像素并不是连续存储的，每行有效像素之后存储了一些无效像素，经过该函数处理，去掉无效数据。FFmpeg解码涉及的知识点比较多，很容易被函数和结构体搞定不知所错，我们先从整体上对解码流程有个认知，画了张解码流程图，如下。avcodec_find_decoder 根据视频流信息的codec_id找到对应的解码器_通过上一小节，我们了解了FFmpeg解码流程和关键的结构体，这一小节我们来实践。视频显示的流程，就是将像素数据“画”在屏幕上的过程。输出解码前的h264码流、输出解码后的YUV信息。
ffmpeg的avformat_alloc_context()分析过程(九)
andylao62的专栏
05-14 1010
avformat_alloc_context这个函数主要实现了分配一个AVFormatContext。他可用于由框架分配的在上下文和所有内容，即分配解复用器上下文 AVFormatContext *avformat_alloc_context(void) { AVFormatContext *ic; ic = av_malloc(sizeof(AVFormatContext)); if (!ic) return ic; avformat_get_context_defa.
FFmpeg学习：FFmpeg4数据结构分析
weixin_40468982的博客
05-21 886
AVIOContext，URLProtocol，URLContext主要存储视音频使用的协议的类型以及状态。在这个结构体中，除了一些回调函数接口之外，有一个变量const char *name，该变量存储了协议的名称。下列代码显示了获取元数据并存入meta字符串变量的过程，注意每一条key和value之间有一个"\t:"，value之后有一个"\r\n"注意，这个结构体并不在FFMPEG提供的头文件中，而是在FFMPEG的源代码中。URLContext：每种协议，有一个协议操作对象和一个关联的协议对象。
FFmpeg视频解码实战与VC环境搭建指南
FFmpeg视频解码器是本课程的核心内容，由雷霄骅讲解，旨在提供深入理解视频解码的专业知识。首先，视频解码的基本流程包括将压缩编码的数据转换为像素数据，如以H.264为例，就是从H.264码流解码到YUV格式。在实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值