FFmpeg是一个强大的多媒体框架,用于处理视频和音频数据。它包括了libavcodec(用于解码和编码)、libavformat(用于格式转换)、libavutil(提供一些辅助工具和函数)、libavfilter(用于音视频过滤)等多个库。

以下这些都是FFmpeg的特性

FFmpeg支持大量的音视频编解码器,如H.264、H.265、VP9、MPEG-2、AAC、MP3等。能够将音视频文件从一种格式转换为另一种格式,例如将MP4转换为AVI。

可以处理实时流媒体,支持RTSP、RTMP、HTTP等流媒体协议。通过libavfilter库,可以对视频和音频应用各种滤镜和效果,如裁剪、缩放、旋转、色彩调整、音频混响等。

FFmpeg可以利用多线程和多核处理器来加速编解码和转码过程。FFmpeg的命令行工具支持复杂的脚本和自动化处理,可以通过脚本来控制复杂的处理流程。

FFmpeg可以利用硬件加速(如GPU)来提高编解码效率。可以用于实时音视频处理,如直播流的编码和解码。

了解这些技术要点有助于在使用FFmpeg进行音视频处理时,能够更加高效地解决问题和实现需求。

如何使用FFmpeg进行视频的实时转码和流处理?

使用 FFmpeg 进行视频的实时转码和流处理是一个涉及多个步骤的过程,通常用于直播或实时视频流的场景。我们来看一下FFmpeg要怎么做:

1. 捕获视频源

首先需要捕获视频源。可以是摄像头、屏幕捕获或其他实时视频源。

ffmpeg-f v4l2 -i /dev/video0 -vcodec libx264 -tune zerolatency -f flv rtmp://localhost/live/stream
  • 1.
  • -f v4l2 指定使用视频4Linux 2设备。
  • -i /dev/video0 指定视频输入设备。
  • -vcodec libx264 使用x264编码器。
  • -tune 使用zerolatency预设来优化延迟。
  • -f flv 指定输出格式为FLV。
  • rtmp://localhost/live/stream 是输出到的RTMP服务器地址。

2. 实时转码

在捕获视频的同时,使用 FFmpeg 实时转码。例如,将输入视频转换为 H.264 编码和 AAC 音频编码:

ffmpeg-i input_stream -c:v libx264 -preset veryfast -maxrate 2000k -bufsize 4000k -c:a aac -b:a 128k -f flv output_stream
  • 1.
  • -i input_stream 指定输入流。
  • -c:v libx264 指定视频编码器为 libx264。
  • -preset veryfast 指定编码速度和质量的平衡。
  • -maxrate 和 -bufsize 控制编码的比特率。
  • -c:a aac 指定音频编码器为 AAC。
  • -b:a 设置音频比特率。
  • -f flv 指定输出格式。
  • output_stream 是输出流的名称。

3. 推流到服务器

将转码后的视频推送到流媒体服务器(不能写名字)或自定义的 RTMP 服务器。

ffmpeg-re -i input_file.mp4 -c:v libx264 -preset veryfast -maxrate 2000k -bufsize 4000k -c:a aac -b:a 128k -f flv rtmp://server/live/stream
  • 1.
  • -re 表示按文件原始速率读取输入。
  • input_file.mp4 是输入文件。
  • 其余选项与上文相同。
  • rtmp://server/live/stream 是RTMP服务器地址。

4. 使用 FFmpeg 进行直播

FFmpeg 可以与 OBS、XSplit 等直播软件结合使用,或者直接用于直播。

ffmpeg-i live_input -c:v libx264 -preset veryfast -maxrate 2000k -bufsize 4000k -c:a aac -b:a 128k -f flv rtmp://server/live/stream
  • 1.
  • live_input 可以是摄像头、屏幕捕获或其他实时视频源。

5. 录制直播

同时,想要录制直播流以供后续点播。

ffmpeg-i live_input -c copy -f segment -segment_time 60 -segment_format mp4 -segment_list_type m3u8 -segment_list live.m3u8 segment%03d.mp4
  • 1.
  • -c copy 表示复制原始流而不重新编码。
  • -f segment 指定分段输出。
  • -segment_time 指定每个分段的时长。
  • -segment_format 指定分段的格式。
  • -segment_list_type 指定播放列表类型。
  • -segment_list 指定播放列表文件。
  • segment%03d.mp4 指定分段文件的命名格式。

在实时转码和流处理时,对系统资源要求是较高的,要确保服务器有足够的处理能力和带宽。根据实际需求调整编码参数,以平衡视频质量和传输延迟即可。

FFmpeg实现实时直播流的编码和解码

在直播推流业务场景中,使用 FFmpeg 实现实时直播流的编码和解码通常涉及两个主要步骤:捕获原始视频并编码为适合网络传输的格式,以及在接收端解码流以进行播放。以下是如何使用 FFmpeg 进行编码和解码的示例。

1. 编码和推流(编码器端)

首先从视频源(如摄像头、屏幕捕获等)捕获视频,然后将其编码并推送到流媒体服务器。以下是使用 FFmpeg 进行实时编码和推流的命令:

ffmpeg-f v4l2 -i /dev/video0 -f alsa -i default -vcodec libx264 -acodec aac -preset ultrafast -tune zerolatency -f flv rtmp://server/live/stream
  • 1.
  • -f v4l2 指定视频捕获设备。
  • -i /dev/video0 指定视频输入设备,例如摄像头。
  • -f alsa 指定音频捕获设备。
  • -i default 指定音频输入设备,例如麦克风。
  • -vcodec libx264 指定使用 H.264 编码器进行视频编码。
  • -acodec aac 指定使用 AAC 编码器进行音频编码。
  • -preset ultrafast 用于快速编码,牺牲一些压缩效率以减少延迟。
  • -tune 优化编码参数以减少延迟。
  • -f flv 指定输出格式为 FLV,适合 RTMP 流媒体传输。
  • rtmp://server/live/stream 是流媒体服务器的地址,你需要将其替换为实际的服务器地址。

2. 解码和播放(观众端)

在观众端,你需要从流媒体服务器拉取流,并解码以进行播放。这可以通过 FFmpeg 命令行工具或使用支持 RTMP 的播放器(如 VLC)完成。

使用 FFmpeg 命令行工具播放 RTMP 流:

ffmpeg-i rtmp://server/live/stream -c copy -f flv output.flv
  • 1.
  • -i 指定输入流。
  • -c copy 表示不对视频和音频进行重新编码,直接复制流。
  • -f flv 指定输出格式为 FLV。
  • output.flv 是输出文件的名称,可以是本地文件或输出到另一个流。

如果只是想实时观看流,而不是录制,可以使用 VLC 播放器:

vlc rtmp://server/live/stream
  • 1.

最后

若大家觉得看文章不过瘾,可以去B站看音视频开发视频教程,比如: https://www.bilibili.com/video/BV1Rs4y1D7Gz

FFmpeg的架构可以让我们添加新的编解码器、格式和滤镜。支持多种文件输入输出协议,如文件、管道、网络协议等。