基本变量
Metadata:RTMP我们称之为Metadata,而在FFmpeg中,则称之为extradata,extradata解析详见ff_h264_decode_extradata()
extradata:mp4中,对h264/h265来说,sps/pps/vps都包含在extra data中。对于TS,对ts流,extra data就是一个NALU
probedata:主要是用来探测流媒体的format
header :流媒体的基本信息和内容长度,比如MP4文件格式头部moov box
private-data:上下文Context,比如MP4的MOVContext
ijkplayer中的结构体介绍
IjkMediaPlayer
ijkplayer 的结构体,提供播放控制和播放的状态的一些处理,结构体指针再初始化后会保存在java层,提供复用。基本每个jni的方法都会获取java 层对应对象的一个long 型变量,然后强转成此结构体。
FFPlayer
主要与java层交互的结构体,音视频的输出,软硬解码器的设置。
VideoState
FFPlay中的结构体。ijkplayer 直接拿过来包含在FFPlayer中。
Frame_Queue
保存解码后数据的环形数组,不同通道的大小不一致。
Packet_Queue
保存从文件或者流读取出来的解码前数据的队列。
Clock
一个用于音视频同步的结构体
方法介绍
stream_open
对一些结构体进行初始化,然后创建文件读取线程和视频渲染线程
ffplay_video_thread
视频解码线程执行的方法
audio_thread
音频解码线程执行的方法
video_refresh_thread
视频渲染,音视频同步
FFMPEG中最关键的结构体之间的关系
FFMPEG中结构体很多。最关键的结构体可以分成以下几类:
a) 解协议(http,rtsp,rtmp,mms)
AVIOContext,URLProtocol,URLContext主要存储视音频使用的协议的类型以及状态。URLProtocol存储输入视音频使用的封装格式。每种协议都对应一个URLProtocol结构。(注意:FFMPEG中文件也被当做一种协议“file”)
b) 解封装(flv,avi,rmvb,mp4)
AVFormatContext主要存储视音频封装格式中包含的信息;AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。
c) 解码(h264,mpeg2,aac,mp3)
每个AVStream存储一个视频/音频流的相关数据;每个AVStream对应一个AVCodecContext,存储该视频/音频流使用解码方式的相关数据;每个AVCodecContext中对应一个AVCodec,包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。
d) 存数据
视频的话,每个结构一般是存一帧;音频可能有好几帧
解码前数据:AVPacket
解码后数据:AVFrame
解封装流程
1.分配解复用器上下文avformat_alloc_context
2.根据url打开本地文件或网络流avformat_open_input
3.读取媒体的部分数据包以获取码流信息avformat_find_stream_info
4.读取码流信息:循环处理
4.1 从文件中读取数据包av_read_frame
4.2 定位文件avformat_seek_file或av_seek_frame
5.关闭解复用器avformat_close_input