MediaCodec编码结合FFmpeg封装流

最新推荐文章于 2024-08-09 04:17:29 发布
最新推荐文章于 2024-08-09 04:17:29 发布
阅读量610 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41191739/article/details/114698405
版权
在Android上，通常使用MediaCodec进行硬编码视频并用MediaMuxer封装，但存在兼容性问题和单一音频轨道限制。本文介绍如何结合MediaCodec编码和FFmpeg进行音视频流封装，涉及创建AVFormatContext、添加音视频流、设置sps和pps、写入文件头和数据，并确保多线程写入的同步，以提高合成视频的兼容性和灵活性。
摘要由CSDN通过智能技术生成

在Android平台上合成视频一般使用MediaCodec进行硬编码，使用MediaMuxer进行封装，但是因为MediaMuxer在某些机型上合成的视频在其他手机上播放会出现问题，而且只支持一个音频轨道，因此可以选用FFmpeg来封装编码后的音视频流。  

创建FFmpeg AVFormatContext

AVFormatContext*ofmt_ctx=nullptr;
intret=avformat_alloc_output_context2(&ofmt_ctx, nullptr, "mp4", filePath);
AVOutputFormat*ofmt=ofmt_ctx->oformat;
ret=avio_open(&ofmt_ctx->pb, filePath, AVIO_FLAG_WRITE);

 

添加音视频流

这里以添加h264视频流为例

AVStream*stream=avformat_new_stream(ofmt_ctx, nullptr);
intvideo_stream=stream->index;
AVCodecParameters*codecpar=stream->codecpar;
codecpar->codec_type=AVMEDIA_TYPE_VIDEO;
codecpar->codec_id=AV_CODEC_ID_H264;
codecpar->width=width;
codecpar->height=height;

 

设置视频流sps和pps

sps和pps能在MediaCodec产生第一帧画面之前获取到，以java MediaCodec

最低0.47元/天 解锁文章
VE视频引擎
关注
FFmpeg 开发(14)：Android FFmpeg + MediaCodec 实现视频硬解码
字节流动
07-29 2万+
MediaCodec 是 Android 提供的用于对音视频进行编解码的类，它通过访问底层的 codec 来实现编解码的功能，是 Android media 基础框架的一部分，通常和 MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface和AudioTrack 一起使用。
FFmpeg 打包mediacodec 编码帧 MPEGTS
TyearLin的专栏
07-31 1146
在Android平台上合成视频一般使用MediaCodec进行硬编码，使用MediaMuxer进行封装，但是因为MediaMuxer支持格式有限，一般会采用ffmpeg封装，比如监控一般使用mpeg2ts格式而非MP4,这是因为两者对帧时pts等信息封装差异导致应用场景不同。
FFmpeg 中的 Android MediaCodec
u010029439的博客
06-12 1442
https://www.jianshu.com/p/5beafbb699e9 FFmpeg 中的 Android MediaCodec GeorgeMR关注 0.92018.12.07 20:55字数 466阅读 626评论 0喜欢 5 MediaCodec 类可以用来访问底层媒体编解码器，即编码器/解码器的组件。它是 Android 底层多媒体支持架构的一部分。 ...
android ffmpeg硬解AV_PIX_FMT_MEDIACODEC
最新发布
weixin_40456133的博客
08-09 36
使用 FFmpeg 在 Android 中实现硬解码：AV_PIX_FMT_MEDIACODEC 概述 在现代移动设备上，视频播放对于用户体验至关重要。而为了提高性能和省电，使用硬件解码是一个常见的策略。FFmpeg 是一个强大的多媒体处理库，可以帮助我们实现硬件解码。本指南将详细介绍如何在 Android 中配置 FFm...
FFmpeg与MediaCodec 简单总结
no_367的博客
11-20 3338
由于工作及学习的原因，需要研究移动端的多媒体视频编辑，自然也就接触到了FFmpeg以及MediaCodec。作为一种阶段性的总结，记录一下自己对于FFmpeg以及MediaCodec的一些经验。后面也会写一些例如带MediaCodec的FFmpeg的编译以及FFmpeg的使用或一些源码分析之类的… 对于FFmpeg于MediaCodec，首先最重要的问题是：FFmpeg是什么，MediaCodec...
SPSS中字符串转为数值后数据消失的解决办法
lazyn的博客
10-31 1万+
问题描述 今天在做SPSS数据分析的过程中，在EXCEL中复制数据到SPSS后类型为字符串，考虑到数据可能以文本形式存储，故先在EXCEL中选择性粘贴为数值，再复制到SPSS中，结果仍为字符串格式，并且在SPSS中将列的数据类型设置为数值格式后数据消失。 原因及解决办法 原数据为小数数据，录入时小数点与数字之间存在空格，在EXCEL中通过查找替换把空格替换掉再复制到SPSS中即为数值类型了。 总结 在复制到SPSS中识别为字符串类型后，首先应该检查原数据是否为文本类型，或者存在隐藏的文本字符，如本问题中的空
给FFmpeg加上MediaCodec和线程支持
u010029439的博客
07-12 1512
https://voiddog.github.io/2017/06/24/%E7%BB%99FFmpeg%E5%8A%A0%E4%B8%8AMediaCodec%E5%92%8C%E7%BA%BF%E7%A8%8B%E6%94%AF%E6%8C%81/之前一篇文章，我在 Android 上用 FFmpeg 来压缩视频 (文章链接)，对于 exit_program 的处理，是直接改成 return ...
ffmpeg添加Android MediaCodec Encoder
wychmiss的博客
07-06 2122
ffmpeg添加Android MediaCodec Encoder背景新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 背景 MediaCodec作为Android low-level multimedia support
Android使用ffmpeg和MediaCodec解码h265裸流（没解码的代码））
03-31
具有硬解的能力，但是需要android 4.1以上才能支持。 这个demo主要是测试硬解和软解h265裸流的能力，有一些手机可能不支持硬解，因此硬解和软解的效率是大致相当的。硬解H265使用的是MediaCodec+ffmpeg方案，ffmepg负责拆包，MediaCodec负责解码和渲染，祝你愉快
Camera+MediaCodec+ffmpeg实现视频录制
lxy1740的博客
12-17 1768
架构设计 原设计架构： 调用系统Action属性打开手机相机，进行视频录制操作； 使用ProjectApplication.activity.startActivityForResult()回调方式获取录制视频文件； 利用callback机制回传获取录制视频文件到界面，进行数据上传和UI更新操作。 原设计架构存在问题：上传视频后存在颜色失真的问题，这个现象的原因是Camera录制的YUV像素数据，没有进行视频格式压缩和封装，直接转为mp4格式文件存储，视频格式并未改变为mp4，则上传平台后存在颜色失真的现象
基于FFMPEG实现的H264视频编码器（跨平台）
07-12
该代码通过调用ffmpeg实现了视频的编码，编码为封装的类，代码是跨库平台的，同时支持windows和linux 2.在windows下使用说明： 从ffmpeg官网下载win64-dev版本，它包含开发使用的lib和include；下载win64-share版本，它包含开发使用的bin； 用vs2012或更高的版本开发，因为它用到了C++11中的thread。 下载opencv2.4.9或更高版本。 如果出现了：无法打开包括文件:“inttypes.h”: No such file or directory 可参考https://blog.csdn.net/wangyjfrecky/article/details/81015969 3.在linux下使用说明： 需要从ffmpeg官网下载源码并编译安装，在编译安装的configure时，一定要启用动态库生成“--enable -share”，启用libx264“--enable -libx264”，具 体安装步骤可参考：https://blog.csdn.net/wangyjfrecky/article/details/80998303 编译安装opencv2.4.9或更高版本。 使用C++11;
ffmpeg h264硬编码插件
06-22
基于i.mx soc芯片编写的最新版本的ffmpeg下的h264硬件编码插件，里面含有编译脚本
FFmpeg入门详解之19：音视频封装原理简介
福优学苑@音视频+流媒体
09-21 1363
数据封装（baiData Encapsulation），笼统地讲，就是把业务数据映射到du某个封装协议zhi的净dao荷中，然后填充对应协议的包头，形成封装协议的数据包，并完成速率适配。解封装，就是封装的逆过程，拆解协议包，处理包头中的信息，取出净荷中的业务信息数据封装和解封装是一对逆过程。封装格式也称多媒体容器，它只是为多媒体编码提供了一个“外壳”，也就是将所有的处理好的视频、音频或字幕都包装到一个文件容器内呈现给观众，这个包装的过程就叫封装。
Android直播开发之旅(3)：AAC编码格式分析与MP4文件封装(MediaCodec+MediaMuxer)
老蒋也疯狂
05-19 1万+
Android直播开发之旅(3)：AAC编码格式分析与MP4文件封装(MediaCodec+MediaMuxer) (码字不易，转载请声明出处：http://blog.csdn.net/andrexpert/article/details/72523408)   1.  AAC编码格式分析 (1)  AAC简介     高级音频编码(AdvancedAudio Coding，AAC)一种...
Android MediaCodec将PCM编码成ACC后传给FFMEPG注意事项
skyf1y的专栏
11-30 234
1.FFMEPG 流程 AVCodec *codec = avcodec_find_decoder(AV_CODEC_ID_AAC); mCodecCtx = avcodec_alloc_context3(codec); avcodec_open2(mCodecCtx, codec, NULL) 不需要主动给mCodecCtx设置任何参数，解码的是时候会根据ADTS里面的参数自己填充的 ２. MediaCodec编码后 的Config数据不要传给FFMPEG（一般时编码后的第一个buffer,可以通过
音视频系列八 ffmpeg使用mediacodec硬解码
Welcome_Word的博客
04-09 5137
文章目录重新编译ffmpeg配置JavaVM替换AVCodec 重新编译ffmpeg ffmpeg默认是没有开启mediacodec的，所以需要在配置文件上增加配置 --enable-mediacodec 默认就会增加mediacodec支持的解码器，但是如果你禁用了所有的解码器，那根据自己需要手动打开，参考以下配置 --enable-decoder=h264_mediacodec --enable-decoder=hevc_mediacodec --enable-decoder=mpeg4_mediac
利用ffmpeg框架扩展android平台解码器
热门推荐
hgl868的专栏
09-06 1万+
Andorid平台本身的多媒体框架opencore支持音频格式有：3GPP(.3gp)、MPEG-4(.mp4,.m4a)、mp3、Type 0 and 1(.mid,.xmf,.mxmf).Also RTTTL/RTX(.rtttl,.rtx), OTA(.ota),andiM
ffmpeg mediacodec 硬编码
05-11
FFmpeg是一个开源的跨平台音视频处理工具库，其中包括了多种编解码器，包括了支持硬编码的编解码器。而MediaCodec是Android SDK提供的一个用于音视频编解码的API，也支持硬编码。可以通过FFmpeg调用MediaCodec实现Android平台上的硬编码。 在使用FFmpeg进行硬编码时，需要将FFmpeg配置为支持MediaCodec。具体操作步骤如下： 1. 配置FFmpeg FFmpeg需要在编译时开启MediaCodec的支持。可以使用以下命令进行编译： ``` ./configure --enable-mediacodec ``` 2. 设置编码器 使用FFmpeg进行硬编码时，需要设置编码器。可以使用以下命令进行设置： ``` AVCodec *codec = avcodec_find_encoder_by_name("h264_mediacodec"); ``` 其中，h264_mediacodec是FFmpeg支持的硬编码器之一，也可以使用其他支持的硬编码器。 3. 配置编码器参数 设置好编码器后，需要对编码器进行参数配置。可以使用以下命令进行配置： ``` AVCodecContext *codecCtx = avcodec_alloc_context3(codec); codecCtx->codec_id = codec->id; codecCtx->codec_type = AVMEDIA_TYPE_VIDEO; codecCtx->bit_rate = bit_rate; codecCtx->width = width; codecCtx->height = height; codecCtx->time_base = (AVRational){1, fps}; codecCtx->framerate = (AVRational){fps, 1}; codecCtx->gop_size = gop_size; ``` 其中，bit_rate为比特率，width和height为视频宽度和高度，fps为帧率，gop_size为关键帧间隔。 4. 初始化编码器 参数配置完成后，需要对编码器进行初始化。可以使用以下命令进行初始化： ``` avcodec_open2(codecCtx, codec, NULL); ``` 5. 编码数据 编码器初始化完成后，可以对数据进行编码。可以使用以下命令进行编码： ``` AVPacket *pkt = av_packet_alloc(); AVFrame *frame = av_frame_alloc(); av_frame_get_buffer(frame, 0); // 填充frame数据 avcodec_send_frame(codecCtx, frame); while (avcodec_receive_packet(codecCtx, pkt) == 0) { // 处理编码后的数据 } ``` 其中，av_frame_get_buffer用于分配一块空间存储数据，avcodec_send_frame用于将数据送入编码器进行编码，avcodec_receive_packet用于从编码器中获取编码后的数据。 6. 释放资源 编码完成后，需要释放资源。可以使用以下命令进行释放： ``` av_packet_free(&pkt); av_frame_free(&frame); avcodec_free_context(&codecCtx); ``` 以上就是在Android平台上使用FFmpeg进行硬编码的基本步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值