iOS 中集成 FFmpeg

489 篇文章 14 订阅
464 篇文章 13 订阅

FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案

ffmpeg的代码是包括两部分的,一部分是library,一部分是tool。api都是在library里面,如果直接调api来操作视频的话,就需要写c或者c++了。另一部分是tool,使用的是命令行,则不需要自己去编码来实现视频操作的流程。

从编译FFmpeg ——> 到使用FFmpeg ——> 注意事项

1、编译FFmpeg

  1. 编译FFmpeg所需的脚本文件gas-preprocessor

  • 下载之后,将 gas-preprocessor.pl 文件复制到 /usr/sbin/ 目录下,如果该目录无法修改,那么可将文件复制到 /usr/local/bin/ 目录下。

  • 为 gas-preprocessor.pl 文件开启可执行权限,在终端中进行如下命令:

chmod 777 /usr/sbin/gas-preprocessor.pl
或者
chmod 777 /usr/local/bin/gas-preprocessor.pl
  1. yasm 1.2.0 yasm 是一个完全重写的 NASM 汇编。它支持x86和AMD64指令集。 可以使用homebrew来安装,如果没有install yasm,在执行./build-ffmpeg.sh命令的时候,会自动检测并安装。

brew install yasm
  1. 编译脚本

    FFmpeg-iOS-build-script

    在这个文件中,我们可以对要进行编译的FFmpeg进行一系列的设置。

    FFmpeg-iOS-build-script

  • 设置FFmpeg的版本

FF_VERSION="4.0.3"
  • 设置所要支持的架构

ARCHS="arm64 armv7 x86_64 i386"
  • 设置所需要的FFmpeg功能配置

禁用一些不必要的功能,可以有效地减小最终库文件的大小
CONFIGURE_FLAGS="--enable-cross-compile --disable-debug --disable-programs \
                 --disable-doc --enable-pic"
其中 --disable-cross-compile 禁止交叉编译
其中 --enable-cross-compile 支持交叉编译
  • 进入脚本所在文件夹目录,执行脚本

./build-ffmpeg.sh

执行结果

执行结果

2、将FFmpeg导入到项目中

将FFmpeg-iOS添加到项目中

FFmpeg-iOS lib文件

  • 添加依赖库

libz.tbd libbz2.tbd libiconv.tbd AudioToolbox.framework CoreMedia.framework VideoToolbox.framework

【学习地址】:FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

【文章福利】:免费领取更多音视频学习资料包、大厂面试题、技术视频和学习路线图,资料包括(C/C++,Linux,FFmpeg webRTC rtmp hls rtsp ffplay srs 等等)有需要的可以点击1079654574加群领取哦~

3、FFmpeg命令行功能

*相关的命令行网络比较多,这里搜集整理了一些,整理备用,同时感谢共享*

3.1 ffmpeg 命令集举例

1.获取视频的信息

ffmpeg -i video.avi 

2.将图片序列合成视频

ffmpeg -f image2 -i image%d.jpg video.mpg 

上面的命令会把当前目录下的图片(名字如:image1.jpg. image2.jpg. 等…)合并成video.mpg

3.将视频分解成图片序列

ffmpeg -i video.mpg image%d.jpg 

上面的命令会生成image1.jpg. image2.jpg. … 支持的图片格式有:PGM. PPM. PAM. PGMYUV. JPEG. GIF. PNG. TIFF. SGI

4.为视频重新编码以适合在iPod/iPhone上播放

ffmpeg -i source_video.avi input -acodec aac -ab 128kb -vcodec mpeg4 -b 1200kb -mbd 2 -flags +4mv+trell -aic 2 -cmp 2 -subcmp 2 -s 320x180 -title X final_video.mp4 

说明:

  • 源视频:source_video.avi

  • 音频编码:aac

  • 音频位率:128kb/s

  • 视频编码:mpeg4

  • 视频位率:1200kb/s

  • 视频尺寸:320 X 180

  • 生成的视频:final_video.mp4

5.为视频重新编码以适合在PSP上播放

ffmpeg -i source_video.avi -b 300 -s 320x240 -vcodec xvid -ab 32 -ar 24000 -acodec aac final_video.mp4 

说明:

  • 源视频:source_video.avi

  • 音频编码:aac

  • 音频位率:32kb/s

  • 视频编码:xvid

  • 视频位率:1200kb/s

  • 视频尺寸:320 X 180

  • 生成的视频:final_video.mp4

6.从视频抽出声音.并存为Mp3

ffmpeg -i source_video.avi -vn -ar 44100 -ac 2 -ab 192 -f mp3 sound.mp3 

说明:

  • 源视频:source_video.avi

  • 音频位率:192kb/s

  • 输出格式:mp3

  • 生成的声音:sound.mp3

7.将wav文件转成Mp3

ffmpeg -i son_origine.avi -vn -ar 44100 -ac 2 -ab 192 -f mp3 son_final.mp3 

8.将.avi视频转成.mpg

ffmpeg -i video_origine.avi video_finale.mpg 

9.将.mpg转成.avi

ffmpeg -i video_origine.mpg video_finale.avi 

10.将.avi转成gif动画(未压缩)

ffmpeg -i video_origine.avi gif_anime.gif 

11.合成视频和音频

ffmpeg -i son.wav -i video_origine.avi video_finale.mpg 

12.将.avi转成.flv

ffmpeg -i video_origine.avi -ab 56 -ar 44100 -b 200 -r 15 -s 320x240 -f flv video_finale.flv 

13.将.avi转成dv

ffmpeg -i video_origine.avi -s pal -r pal -aspect 4:3 -ar 48000 -ac 2 video_finale.dv 

或者:

ffmpeg -i video_origine.avi -target pal-dv video_finale.dv 

14.将.avi压缩成divx

ffmpeg -i video_origine.avi -s 320x240 -vcodec msmpeg4v2 video_finale.avi 

15.将Ogg Theora压缩成Mpeg dvd

ffmpeg -i film_sortie_cinelerra.ogm -s 720x576 -vcodec mpeg2video -acodec mp3 film_terminate.mpg 

16.将.avi压缩成SVCD mpeg2 NTSC格式:

ffmpeg -i video_origine.avi -target ntsc-svcd video_finale.mpg 

PAL格式:

ffmpeg -i video_origine.avi -target pal-svcd video_finale.mpg 

17.将.avi压缩成VCD mpeg2 NTSC格式:

ffmpeg -i video_origine.avi -target ntsc-vcd video_finale.mpg 

PAL格式:

ffmpeg -i video_origine.avi -target pal-vcd video_finale.mpg 

18.多通道编码

ffmpeg -i fichierentree -pass 2 -passlogfile ffmpeg2pass fichiersortie-2 

19.从flv提取mp3

ffmpeg -i source.flv -ab 128k dest.mp3

3.2 常用点:

对视频进行调速

ffmpeg -t 3.0 -i /Users/mdm/Desktop/water.mp4 -an -r 25 -filter:v setpts=0.5*PTS -t 6.0 -b:v 1024k -y /Users/mdm/Desktop/newWater.mp4
  • 注意: 该方法中,假设调为x倍速,则setpts=1.0 / x*PTS。 该调速方法,最多支持在[0.25, 4]区间内调整。

其中,一些常见的参数配置如下:

-f 强制指定编码格式
​
-i 输出源
​
-t 指定输入输出时长
​
-r 指定帧率,即1S内的帧数
​
-threads 指定线程数
​
-c:v 指定视频的编码格式
​
-ss 指定持续时长
​
-b:v 指定比特率
​
-s 指定分辨率
​
-y 覆盖输出
​
-filter 指定过滤器
​
-vf 指定视频过滤器
​
-an 指定去除对音频的影响

4、FFmpeg在iOS开发上的使用

  1. 将Appdelegate.m后缀改为.mm,开启混编模式。 command+B,如果没有报错,则表明编译成功。

  2. 要对视频进行操作,还是需要手动写很多代码去调用api,工作量较大,自然不如直接写命令行方便。这时候就要添加源码中的添加源码中的tools: *在iOS上集成FFmpeg的命令行工具fftools是个繁琐的过程,各个版本之间还有差异,需要导入的文件不一样.*

  • 从 ffmpeg-4.0.3 中找到以下文件:

    fftools文件

  • 从 scratch 文件夹中找到

config.h
  • 修改以下文件:

cmdutils.c 文件中,注释
#include "compat/va_copy.h"
#include "libavdevice/avdevice.h"
#include "libavresample/avresample.h"
#include "libpostproc/postprocess.h"
#include "libavutil/libm.h"
​
PRINT_LIB_INFO(avdevice,   AVDEVICE,   flags, level);
PRINT_LIB_INFO(avresample, AVRESAMPLE, flags, level);
PRINT_LIB_INFO(postproc,   POSTPROC,   flags, level);
ffmpeg_filter.c 文件中,注释
#include "libavresample/avresample.h"
ffmpeg.c 文件中,注释
#include "libavdevice/avdevice.h"
#include "libavutil/internal.h"
#include "libavutil/libm.h"
#include "libavformat/os_support.h"
​
ff_dlog(NULL, "force_key_frame: n:%f n_forced:%f prev_forced_n:%f t:%f prev_forced_t:%f -> res:%f\n",
                    ost->forced_keyframes_expr_const_values[FKF_N],
                    ost->forced_keyframes_expr_const_values[FKF_N_FORCED],
                    ost->forced_keyframes_expr_const_values[FKF_PREV_FORCED_N],
                    ost->forced_keyframes_expr_const_values[FKF_T],
                    ost->forced_keyframes_expr_const_values[FKF_PREV_FORCED_T],
                    res);
ffmpeg_opt.c 文件中,注释
{ "videotoolbox_pixfmt", HAS_ARG | OPT_STRING | OPT_EXPERT, { &videotoolbox_pixfmt}, "" },

为了避免两个main函数问题:

ffmpeg.h 文件下增加函数声明:
int ffmpeg_main(int argc, char **argv);
ffmpeg.c 文件中:
main函数修改为ffmpeg_main;主要是为了避免两个main函数存在

修改执行一次 ffmpeg_main 方法后 App 退出问题:

cmdutils.h 中,将void exit_program(int ret) av_noreturn;改为void exit_program(int ret);
cmdutils.c 中,
int exit_program(int ret)
{
    if (program_exit)
        program_exit(ret);
​
//    exit(ret);
    return ret;
}

修改多次调用 ffmpeg_main 时,访问空指针的问题:

ffmpeg.c 中
在 ffmpeg_cleanup 方法中
term_exit();
改为:
nb_filtergraphs = 0;
nb_output_files = 0;
nb_output_streams = 0;
nb_input_files = 0;
nb_input_streams = 0;
term_exit();

然后剩下的缺什么.h文件,就在 ffmpeg-4.0.3找到什么文件,然后加到include文件夹下对应的路径 command+B,编译成功!

3.iOS调用命令行将视频转换为一组图片 添加头文件:#import "ffmpeg.h" 调用命令行

- (IBAction)converterBtnAction:(id)sender {
    dispatch_async(dispatch_get_global_queue(0, 0), ^{
        NSString *moviePath = [[NSBundle mainBundle] pathForResource:@"movie" ofType:@"mp4"];
        NSString *imageName = @"image%d.jpg";
        NSString *imagesPath = [NSString stringWithFormat:@"%@/%@", [NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) firstObject], imageName];
        
        int numberOfArgs = 6;
        char** arguments = calloc(numberOfArgs, sizeof(char*));
        
        arguments[0] = "ffmpeg";
        arguments[1] = "-i";
        arguments[2] = (char *)[moviePath UTF8String];
        arguments[3] = "-r";
        arguments[4] = "20";
        arguments[5] = (char *)[imagesPath UTF8String];
        
        int result = ffmpeg_main(numberOfArgs, arguments);
        NSLog(@"----------- %d", result);
        dispatch_async(dispatch_get_main_queue(), ^{
            [self presentViewController:[[ResultViewController alloc] init] animated:YES completion:^{
                
            }];
        });
        
    });
    
}

4.运行效果

2019-01-14 13_38_42.gif

运行效果

5.编译报错(过程中遇到的两个报错的地方,及解决办法)

'libavcodec/avcodec.h' file not found

解决办法

添加header search paths

屏幕快照 2019-01-11 下午5.05.33.png

加入ffmpeg_hw.c文件!

5、注意事项

  1. ffmpeg 是需要对实体文件进行处理的,所以无论是输入源还是输出源,都必须对应实体文件,同时在 ffmpeg 的命令中,需指定路径。对于输出源来说,如果不指定 -y,即覆盖输出,那么如果输出源文件已经存在,ffmpeg 命令会执行失败。

  2. ffmpeg 命令需要阻塞线程来处理,所以为了避免主线程的阻塞,建议放入子线程进行处理。

  3. ffmpeg 的输入和输出需要知道明确的编码格式:输入编码可以通过解码来获取到,但是输入编码如果指定的话,就必须与实体文件编码一致,否则解码会出错;输出源同样需要指定编码格式,如果没有明确指定输出的编码格式,那么需要在输出路径中指定后缀,否则会出现编码出错。

  4. 如果需要对 GIF 进行调速的话,直接通过指定 GIF 的 -r 来生成新的 GIF 是不合适的,因为 GIF 的帧间隔可以不一致,而通过设置 -r,就将所有帧间隔设置为一致,这样生成的效果与理想效果不一致。可通过将 GIF 转为视频,然后调整视频的速度生成新的视频,进而再生成新 GIF 来达到目的。

  5. 由于 ffmpeg 的命令行工具中,有许多参数为全局变量,所以为了保证使用的正确,我们需要保证在一个时间点,只有一次 ffmpeg_main() 方法的调用。

  6. 在使用全局调色板的时候,需要注意与水印的搭配处理。如果全局调色板是在添加水印之前就已经生成,那么添加水印之后,使用该全局调色板生成 GIF,水印会被全局调色板校正,从而在 GIF 上显示不出来。

6、各模块的功能

libavformat:用于各种音视频封装格式的生成和解析;

libavcodec:用于各种类型声音、图像编解码;

libavutil:包含一些公共的工具函数;

libswscale:用于视频场景比例缩放、色彩映射转换;

libpostproc:用于后期效果处理;

ffmpeg:该项目提供的一个工具,可用于格式转换、解码或电视卡即时编码等;

ffsever:一个 HTTP 多媒体即时广播串流服务器;

ffplay:是一个简单的播放器,使用ffmpeg 库解析和解码,通过SDL显示;

7、相关链接

iOS开发中集成FFmpeg以及相关注意事项 IOS FFMPEG的使用

原文链接:iOS 中集成 FFmpeg - 简书

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值