在Ubuntu和Android中使用ffmpeg全格式解码视频文件（2）

最新推荐文章于 2022-01-07 16:48:57 发布
最新推荐文章于 2022-01-07 16:48:57 发布
阅读量501 收藏 1
点赞数
分类专栏： 贝海拾遗 文章标签： omx 硬解码 全格式 android Ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hp9016/article/details/88637777
版权

1、如何在ffmpeg中加入对on2 api的调用    
  1.1 、ON2 Decoder在ffmpeg的修改位置及与CODEC_ID的对应关系  
  表2 

ON2 Decoderffmpeg fileCODEC_IDDIFFMark
H264h264.cCODEC_ID_H264  
DIVX（DIVX3~6）h263dec.cCODEC_ID_MPEG4DIVX 
   DI50 
  CODEC_ID_MSMPEG4V3 DIVX3
MPEG4h263dec.cCODEC_ID_MPEG4MP4V 
H263h263dec.cCODEC_ID_H263  
Sorenson Spark（version0,1）h263dec.cCODEC_ID_FLV1FLV1 
MPEG2mpeg12.cCODEC_ID_MPEG2VIDEO  
MPEG1mpeg12.cCODEC_ID_MPEG1VIDEO  
VC-1vc1dec.cCODEC_ID_VC1  
  CODEC_ID_WMV3  
RV（RV8~10）rv34.cCODEC_ID_RV30 RV8
  CODEC_ID_RV40 RV9&10
VP6vp6.cCODEC_ID_VP6  
  CODEC_ID_VP6F  
  CODEC_ID_VP6A  

  1.2 如何从ffmpeg的AVFrame中组装on2各种视频格式需要的frame/slice      
    1.2.1    H264    
      有两种方式为on2 decoder提供正确的raw data.      
      1.2.1.1    把每一个Nal数据分别传给on2   
        ffmpeg在提取nal数据的时候，会由变量is_avc做不同的判断来获得nal的长度

        if (extradata && *extradata == 1)                      
            is_avc = 1;                     
        else                       
            is_avc = 0;                     
        if (is_avc)                      
            search start code prefix:[0][0][1]                     
        else                       
            读AVPacket.data的第一个字节作为nal_size，以此循环

      1.2.1.2   把每一个AVPacket的data转化为符合标准的一帧后传给on2                    
        这个具体可以参见h264_mp4toannexb_bsf.c的h264_mp4toannexb_filter函数                      
    1.2.2   MPEG1&2                     
      AVPacket.data的数据不需要额外的处理即可被on2的解码。                       
    1.2.3   MPEG4                     
      1.2.3.1   MPEG4                    
        对于mpeg4文件，header信息存放在extradata里面，所以在解码AVPacket的data前，我们应该先把extradata传给on2解码以获得该mpeg4流的头信息。因为ffmpeg在init的时候就要调用一次decode_frame，但此时on2不需要解码任何一帧，所以on2解码extradata的时期如下表：
                                                             表3 

 需要解extradata需要解数据帧
初始化的时候YESNO
解第一帧的时候YESYES
解其他帧的时候NOYES

        1.2.3.2   DIVX3 
          1.2.3.2.1    Divx3不属于mpeg4标准         
          1.2.3.2.2    Divx3没有startcode         
          1.2.3.2.3    解码前需要调用on2的api MP4DecSetinfo来设置视频流的宽高         
          1.2.3.2.4    解码Divx3时，没有DEC_HDRS_RDY这种状态，只有PIC_Decoded.         
        1.2.3.3   DIVX4~6           
          1.2.3.3.1    Divx4~6没有extradata         
          1.2.3.3.2    Divx4~6的CodecID与MPEG4一样，所以需要FourCC来区分         
        1.2.3.4   H263&Sorenson Spark           
        ​​​​​​​  1.2.3.4.1    Sorenson Spark被认为H263(Sorenson Spark)         
        ​​​​​​​  1.2.3.4.2    H263没有extradata         
      1.2.4   RV            
        1.2.4.1   RV各种版本说法的对应关系           
                                        表4             

Video 版本Player 版本wiki Codecs视频编码标准FourCC
Real VideoReal PlayerRealVideoH.263rv10 / rv 13
Real Video 2Real Player 6 / Real Player G2RealVideo G2H.263rv20
Real Video 3Real Player 8RealVideo 3Eearly Version of H.264rv30
Real Video 4Real Player 9~10RealVideo 4H.264rv40

        1.2.4.2   RV数据组成结构      
        一帧rv数据，前20个字节，存储的是整帧的信息，其中前4个存储的是帧的长度，最后4个存储的是该帧slice的个数，比如n个。随后紧接着的n*8个字节存储的便是每个slice的头信息，每8个字节的前四个是标识该帧的合法性，后四个是该slice在整个frame的偏移量，如下图：        
 图5        

        1.2.4.3   MPlayer与Ffmpeg解析rm有所不同，并且在传给on2时帧数据需要处理    
          1.2.4.3.1    mplayer与ffmpeg在解析rm文件用的不是一套代码  
        ​​​​​​​  1.2.4.3.2    mplayer与ffmpeg读出的rv数据不完全一致  
        ​​​​​​​  1.2.4.3.3    mplayer送给decoder的数据，头信息比ffmpeg少一个slice的信息。  
        ​​​​​​​  1.2.4.3.4    mplayer送给decoder的数据，尾部比ffmpeg多一部分信息。  
        ​​​​​​​  1.2.4.3.5    mplayer能解析rv，需要把最后16个字节的数据删除  
        ​​​​​​​  1.2.4.3.6    ffmpeg能解析rv8，必须把第一帧的最后一个slice去掉，包括slice的偏移和合法性。  
        ​​​​​​​  1.2.4.3.7    ffmpeg中slice_count都是从AVPacket的data读的，不是从avctx获得的  
        ​​​​​​​  1.2.4.3.8    ffmpeg一帧的数据(并不是所有帧)比On2 test解码出的数据多一个slice，包括头信息与data  
        ​​​​​​​  1.2.4.3.9    ffmpeg已经解过frame info，并把它去掉，然后才发给decoder，我们需要利用ffmpeg已经获得的信息把slice infos传送给On2  
      1.2.5   VP6    
        从ffmpeg获得CodecID，如果是CODEC_ID_VP6A，则去掉AVPacket.data前三个字符后，On2才能解码。      
      1.2.6   VC1    
        1.2.6.1   对于profile为advanced的VC1视频，on2需要解码extradata   
        1.2.6.2   对于profile为advanced的VC1视频，每一帧的头部必须加上0x00,0x00,0x01,0x0d。
        1.2.6.3   不能直接把ffmpeg中的profile传给on2，因为ffmpeg与on2的profile枚举值不同。   
        1.2.6.4   对于profile为simple&main的VC1视频，on2不能解码extradata，on2需要的metadata需要从avctx中获得。   
        1.2.6.5   simpler&main的文件，目前不能完全支持。   
2、如何在Android中加入对on2 api的调用   
  2.1  CodecID与OMX_CODEC等的映射关系 
                     表5  

CODEC_IDMIMETYPEOMX_CODECON2 DEC
CODEC_ID_H264MEDIA_MIMETYPE_VIDEO_AVCOMX_VIDEO_CodingAVCH264
CODEC_ID_H263MEDIA_MIMETYPE_VIDEO_H263OMX_VIDEO_CodingH263MPEG4
CODEC_ID_FLV1MEDIA_MIMETYPE_VIDEO_FLV1OMX_VIDEO_CodingMPEG4 
CODEC_ID_MPEG4MEDIA_MIMETYPE_VIDEO_MPEG4  
CODEC_ID_MSMPEG4V3   
CODEC_ID_MPEG1VIDEOMEDIA_MIMETYPE_VIDEO_MPEG1OMX_VIDEO_CodingMPEG2MPEG2
CODEC_ID_MPEG2VIDEOMEDIA_MIMETYPE_VIDEO_MPEG2  
CODEC_ID_VC1MEDIA_MIMETYPE_VIDEO_VC1OMX_VIDEO_CodingWMVVC1
CODEC_ID_WMV3   
CODEC_ID_RV30MEDIA_MIMETYPE_VIDEO_RV30OMX_VIDEO_CodingRVRV
CODEC_ID_RV40MEDIA_MIMETYPE_VIDEO_RV40  
CODEC_ID_VP6MEDIA_MIMETYPE_VIDEO_VP6OMX_VIDEO_CodingVP6VP6
CODEC_ID_VP6FMEDIA_MIMETYPE_VIDEO_VP6F  
CODEC_ID_VP6AMEDIA_MIMETYPE_VIDEO_VP6A  

    2.2  新增一个OMX_CODEC步骤，以OMX_VIDEO_CodingRV为例         
      2.2.1   注册Decoder名称       

omx/system/src/openmax_il/omx_core/src/OMX_Core.c         
   {"OMX.NU.Video.Decoder", "video_decoder.rv"},  

      2.2.2   增加Decoder参数       

  omx/system/src/openmax_il/omx_core/inc/OMX_Video.h         
   typedef struct OMX_VIDEO_PARAM_RVTYPE {…}        
   typedef enum VIDDEC_DEFAULT_INPUT_INDEX        
    VIDDEC_DEFAULT_INPUT_INDEX_RV,       
   typedef enum VIDDEC_INIT_VALUE        
    VIDDEC_INIT_RV,       
   typedef struct VIDDEC_COMPONENT_PRIVATE        
    OMX_VIDEO_PARAM_RVTYPE* pRV;       
   #define VIDDEC_COMPONENTROLES_RV        
   #define VIDDEC_DEFAULT_RV_PORTINDEX        
   #define VIDDEC_DEFAULT_RV_VERSION

      2.2.3   增加对Decoder的初始化       

  omx/video/src/openmax_il/video_decode/src/OMX_VideoDecoder.c         
   OMX_ERRORTYPE OMX_ComponentInit (OMX_HANDLETYPE hComponent)        
    OMX_MALLOC_STRUCT(pComponentPrivate->pRV, OMX_VIDEO_PARAM_RVTYPE,...);  

      2.2.4   增加Decoder参数的初始化       

  omx/video/src/openmax_il/video_decode/src/OMX_VideoDec_Utils.c         
   OMX_ERRORTYPE VIDDEC_Load_Defaults         
    case VIDDEC_INIT_RV:  

      2.2.5   增加Decoder参数的设置       

  omx/video/src/openmax_il/video_decode/src/OMX_VideoDecoder.c         
   static OMX_ERRORTYPE VIDDEC_GetParameter (OMX_IN OMX_HANDLETYPE hComponent,        
    case OMX_IndexParamVideoPortFormat:       
     case VIDDEC_DEFAULT_INPUT_INDEX_RV:      
   static OMX_ERRORTYPE VIDDEC_SetParameter (OMX_HANDLETYPE hComp,        
    case OMX_IndexParamVideoPortFormat:       
     case OMX_VIDEO_CodingRV:      

      2.2.6   增加Decoder解码所需资源的分配       

  omx/video/src/openmax_il/video_decode/src/OMX_VideoDecoder.c         
   static OMX_ERRORTYPE VIDDEC_Allocate_DSPResources        
    if (nPortIndex == pComponentPrivate->pInPortFormat->nPortIndex) {       
     else if (pPortDefIn->format.video.eCompressionFormat == OMX_VIDEO_CodingRV) {      
    else if (nPortIndex == pComponentPrivate->pOutPortFormat->nPortIndex) {       
     else if (pPortDefIn->format.video.eCompressionFormat == OMX_VIDEO_CodingRV) {

      2.2.7   增加Decoder对Command的处理       

  omx/video/src/openmax_il/video_decode/src/OMX_VideoDec_Utils.c         
   OMX_ERRORTYPE VIDDEC_HandleCommand        
    if (pComponentPrivate->pInPortDef->format.video.eCompressionFormat == OMX_VIDEO_CodingRV) {  

      2.2.8   增加Decoder对资源的释放       

  omx/video/src/openmax_il/video_decode/src/OMX_VideoDecoder.c         
   static OMX_ERRORTYPE VIDDEC_FreeBuffer        
    else if (pPortDefIn->format.video.eCompressionFormat == OMX_VIDEO_CodingRV) {

 

赛铁花
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
编码格式介绍
DaveBobo的博客
04-11 559
编码格式：     音频视频编码方案有很多，用百家争鸣形容不算过分，目前常见的音频视频编码有以下几类     MPEG系列：（由ISO[国际标准组织机构]下属的MPEG[运动图象专家组]开发 ）     视频编码方面主要是Mpeg1（vcd用的就是它）、Mpeg2（DVD使用）、Mpeg4（现在的DVDRIP使用的都是它的变种，如：divx，xvid等）、Mpeg4 AVC（现在正热
ubuntu下使用SDL和FFmpeg进行播放视频文件和实时流媒体
10-27
ubuntu下使用SDL和FFmpeg进行播放视频文件和实时流媒体
FFMPEG如何设置编码器私有参数
牧羊女
07-26 4999
FFMPEG最常调用的外部编码库就是libx264和libx265了。我们知道在FFMPEG内部，可以通过结构体AVCodecContext设置一些通用的编码参数，结构体定义见下方代码段。 typedef struct AVCodecContext { /** * information on struct for av_log * - set by avcodec...
从事【音视频】的开发者，看过来，如果记不住FFmpeg命令，可以收藏，不记得的时候，掏出来翻翻
a410974689的博客
01-07 2898
ffmpeg --help大概分为6个部分，具体如下： ffmpeg信息查询部分 公共操作参数部分 文件主要操作参数部分 视频操作参数部分 音频操作参数部分 字母操作参数部分 查看支持的容器格式 # 封装和解封装 ffmpeg -formats # 解封装 ffmpeg -demuxers # 封装 ffmpeg -muxers # 查看FLV封装器的参数支持 ffmpeg -h muxer=flv # 查看FLV解封装器的参数支持 ffmpeg -h demuxer=flv 查看支持的编解码格式 #
FFmpeg音视频文件格式探测
weixin_40290106的博客
05-08 1498
一.背景说明 用户反映，某课程MP3文件在安卓机上可以播放，苹果机上不能播放。 二.测试分析 拿到该MP3文件的链接，测试如下： 不能播放：safari浏览器，微信浏览器，iOS AVPlayer 可以播放：谷歌浏览器，ffplay，VLC 下载并查看该文件的格式，发现实际上不是MP3格式而是MP4格式，修改文件后缀名为MP4后，使用AVPlayer可正常播放。 那么问题来了，当文件后缀名错误的时候，为什么有些播放器可以正确播放呢？ 初步猜测是： 这些播放器不仅仅使用音视频文件的后缀名去判断格式，而是
Android中FFmpeg视频解码到手机
10-31
Android中FFmpeg3.3.8编译so视频解码YUV到手机 默认存手机根目录/storage/emulated/0/media.yuv
【Android FFMPEG 开发】Android 中使用 FFMPEG 将 PCM 音频采样转为 MP3 格式
06-03
【Android FFMPEG 开发】Android 中使用 FFMPEG 将 PCM 音频采样转为 MP3 格式 https://hanshuliang.blog.csdn.net/article/details/117534575 博客源码
FFMpeg-decode-example:示例如何使用 ffmpeg 解码视频文件
07-02
FFMpeg-解码示例示例如何使用 ffmpeg 解码视频文件。 链接到关于文章。 。 示例向您展示了基本的 FFmpeg 函数。 示例程序打开视频文件并将前 50 帧存储到磁盘。 您可以更改安装程序的说明： #define FILE_NAME "C:\\...
C++基于FFmpeg的音频解码和播放
12-17
C++基于FFmpeg的音频解码和播放，使用VS2010编码，本程序实现了音频的解码和播放。可供学习和参考
万能影音播放器 （单文件版）
05-31
绿色万能影音播放器包支持包含 DivX3、DivX4、DivX5、Xvid 、MPEG1(VCD)、MPEG2(SVCD、DVD)、RA/RM/RMVB(Real8+Real9+Real10)、QT(QuickTime)、WMV、VP6、3GP、H264 等等的视频和 MPEG1/2/3、AAC、AC3 、DTS、LPCM、OGG等等的各种音频，而无需安装REALPLAYER和QuickTime，基本包括了主流的视频和音频格式，支持播放大多数主流媒体文件。
FFmpeg 内容介绍 音视频解码和播放
mikasoi的博客
03-22 1111
前言 FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。FFmpeg本身是跨平台的，支持多个平台。 在我们常见的音视频文件(mp3,mp4, flv, flac, mkv, avi等)都是一种压缩过的封装格式文件。 封装格式的主要作用是把视频码流和音频码流按照一定的格式存储在一个文件中。 为什么要进行视频压缩？ ● 未经压缩的数字视频的数据量巨大 ● 存储困难 ○ 一G只能存储几秒钟的未压
各种音视频编解码学习详解（11）--Flash Video系列
simon的天空
12-31 1983
用于在 Flash 中压缩视频。FLV流媒体格式是一种新的视频格式，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上有效使用等 缺点。一般FLV文件包在SWF PLAYER 的壳里，并且FLV可以很好的保护原始地址，不容易被下载到，从而起到保护版权的作用。 文件名： .flv, .f4v, .f4p, .f4a, .f4b 媒体类型：video/x-fl
多媒体格式总结整理
haima1998的专栏
10-12 1037
有版权的音视频编码格式： Video: VC-1(微软),RMVB(realVideo)待确定 Audio: WMA(微软)，Dolby-AC3, DTS   一、视频格式: 1.      Sorenson Sorenson编解码看参考以下两种专用的视频编解码：Sorenson Video或者Sorenson Spark。Sorenson Video也被称为Sorenson Co
OpenMAX编程-音视频等组件介绍
YellowMax
03-12 2967
本文着重介绍不同类型组件的具体构成（参数类型、特性设置等），包括audio、video、image等组件。另外对OpenMAX的一些扩展用法以及以前文章当中的缺漏进行补充。
音视频开发之旅（61)- 分析FFmpeg (解码部分的）常用结构体
yabin的专栏
12-05 497
上一篇我们分析了解封装部分的常用结构体，这篇我们来学习分析解码部分的常用结构体。 目录 断点分析ffplay解码流程及关键结构体 （解码部分）常用结构体以及之间的关系分析 资料 收获 一、断点分析ffplay解码流程及关键结构体 还是从read_thread进行分析 stream_component_open(is, st_index[AVMEDIA_TYPE_AUDIO]); ret = stream_component_open(is, st_inde
FFmpeg:AVCodecContext结构体解析
SuperLi
05-02 3488
文档：传送门 AVCodecContext AVCodecContext也是FFmpeg使用过程中比较重要的结构体，保存了编解码器上下文相关信息。不管是编码，还是解码都会用到，但在两种不同应用场景中，结构体中部分字段作用和表现并不一致，这一点需要特别注意。 AVFormatContext包含了一个媒体流的解码器的上下文信息，比较重要的有： AVMediaType：解码器类型，表示这个解码器是用来...
div三行或三列铺满全屏
ch206265的博客
04-07 3485
这里写自定义目录标题一、实现要求二、实现过程1、字体水平居中和垂直居中 一、实现要求 铺满屏，字体居中 交互，点击一个盒子能够改变另外一个盒子的颜色 最开始的实现效果使这样的： 但是有些问题： 字体只有水平居中，没有垂直居中； 第三行的盒子最右边没有铺满，并且，我理解的铺满全屏是指完全铺满，既没有剩余空白，也不会让内容一屏显示不完，也就是说要让屏幕右侧的滚动条和下面的滚动条消失，内容显示完...
常见视频格式介绍
dancing_night的专栏
04-23 3872
一、常见的编码格式  1、无声时代的 FLC     FLC、FLI 是 Autodesk 开发的一种视频格式，仅仅支持 256 色，但支持色彩抖动技术，因  此在很多情况下很真彩视频区别不是很大，不支持音频信号，现在看来这种格式已经毫无用 处，但在没有真彩显卡没有声卡的 DOS 时代确实是最好的也是唯一的选择。最重要的是， Autodesk 的全系列的动画制作软件都提供了对这种格式的支持，
在ubuntu中使用FFmpeg
最新发布
03-28
在Ubuntu中使用FFmpeg有两种方法，一种是通过源码编译安装，另一种是使用预编译的静态二进制文件。 1. 通过源码编译安装FFmpeg[^1]： - 下载FFmpeg源码： ```shell wget httpsffmpeg.org/releases/ffmpeg-x.x.x....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值