最简单的基于 FFmpeg 的视音频分离器

最新推荐文章于 2024-07-24 11:24:10 发布
最新推荐文章于 2024-07-24 11:24:10 发布
阅读量2k 收藏 46
点赞数 48
分类专栏： FFmpeg 文章标签： ffmpeg C++ 视频编解码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ProgramNovice/article/details/136238493
版权

最简单的基于 FFmpeg 的视音频分离器

最简单的基于 FFmpeg 的视音频分离器

参考雷霄骅博士的文章，链接：最简单的基于FFmpeg的封装格式处理：视音频分离器（demuxer）

正文

本文介绍一个视音频分离器（Demuxer）。

视音频分离器即是将封装格式数据（例如 MKV）中的视频压缩数据（例如 H.264）和音频压缩数据（例如 AAC）分离开，如下图所示。

在这里插入图片描述

在这个过程中并不涉及到编码和解码。

本文记录的程序将一个 MPEG2TS 封装的文件（其中视频编码为 H.264，音频编码为 MP3）分离成为两个文件：一个 H.264 编码的视频码流文件，一个 MP3 编码的音频码流文件。

前一篇文章中，记录一个简单版的视音频分离器：最简单的基于 FFmpeg 的视音频分离器 - 简化版。

相比于前一篇文中的分离器，本篇文章记录的分离器复杂了很多。相比于简单版的分离器，学习的难度大了一些。但是该分离器可以很好地处理 FFmpeg 支持的各种格式（例如分离 AAC 音频流），拥有更好的实用性。

程序的流程如下图所示：

在这里插入图片描述

从流程图中可以看出，一共初始化了 3 个 AVFormatContext，其中 1 个用于输入，另外 2 个分别用于视频输出和音频输出。3 个 AVFormatContext 初始化之后，通过 avcodec_copy_context() 函数可以将输入视频/音频的参数拷贝至输出视频/音频的 AVCodecContext 结构体。最后，通过 av_read_frame() 获取 AVPacket，根据 AVPacket 类型的不同，分别使用 av_interleaved_write_frame() 写入不同的输出文件中即可。

对于某些封装格式（例如 MP4/FLV/MKV 等）中的 H.264，需要用到名称为“h264_mp4toannexb”的 bitstream filter。这一点在前一篇文章《最简单的基于 FFmpeg 的视音频分离器 - 简化版》中，已经有过详细叙述，这里不再重复。

简单介绍一下流程中各个重要函数的意义：

  1. avformat_open_input()：打开输入文件。
  2. avcodec_copy_context()：赋值 AVCodecContext 的参数。
  3. avformat_alloc_output_context2()：初始化输出文件。
  4. avio_open()：打开输出文件。
  5. avformat_write_header()：写入文件头。
  6. av_read_frame()：从输入文件读取一个 AVPacket。
  7. av_interleaved_write_frame()：写入一个 AVPacket 到输出文件。
  8. av_write_trailer()：写入文件尾。

源程序：

// Simplest FFmpeg Demuxer.cpp : 定义控制台应用程序的入口点。
//

/**
* 最简单的基于 FFmpeg 的视音频分离器
* Simplest FFmpeg Demuxer
*
* 源程序：
* 雷霄骅 Lei Xiaohua
* leixiaohua1020@126.com
* 中国传媒大学/数字电视技术
* Communication University of China / Digital TV Technology
* http://blog.csdn.net/leixiaohua1020
*
* 修改：
* 刘文晨 Liu Wenchen
* 812288728@qq.com
* 电子科技大学/电子信息
* University of Electronic Science and Technology of China / Electronic and Information Science
* https://blog.csdn.net/ProgramNovice
*
* 本程序可以将封装格式中的视频码流数据和音频码流数据分离出来。
* 在该例子中， 将 MPEG2TS 的文件分离得到 H.264 视频码流文件和 AAC 音频码流文件。
*
* This software split a media file (in Container such as
* MKV, FLV, AVI...) to video and audio bitstream.
* In this example, it demux a MPEG2TS file to H.264 bitstream and AAC bitstream.
*/

#include "stdafx.h"

#include <stdio.h>
#include <stdlib.h>

// 解决报错：'fopen': This function or variable may be unsafe.Consider using fopen_s instead.
#pragma warning(disable:4996)

// 解决报错：无法解析的外部符号 __imp__fprintf，该符号在函数 _ShowError 中被引用
#pragma comment(lib, "legacy_stdio_definitions.lib")
extern "C"
{
	// 解决报错：无法解析的外部符号 __imp____iob_func，该符号在函数 _ShowError 中被引用
	FILE __iob_func[3] = { *stdin, *stdout, *stderr };
}

#define __STDC_CONSTANT_MACROS

#ifdef _WIN32
// Windows
extern "C"
{
#include "libavformat/avformat.h"
};
#else
// Linux...
#ifdef __cplusplus
extern "C"
{
#endif
#include <libavformat/avformat.h>
#ifdef __cplusplus
};
#endif
#endif

/*
FIX: H.264 in some container formats (FLV, MP4, MKV etc.)
need "h264_mp4toannexb" bitstream filter (BSF).
1. Add SPS,PPS in front of IDR frame
2. Add start code ("0,0,0,1") in front of NALU
H.264 in some containers (such as MPEG2TS) doesn't need this BSF.
*/

// 1: Use H.264 Bitstream Filter 
#define USE_H264BSF 0

int main(int argc, char* argv[])
{
	AVOutputFormat *ofmt_audio = NULL, *ofmt_video = NULL;
	// Input AVFormatContext
	AVFormatContext *ifmt_ctx = NULL;
	// Output AVFormatContext
	AVFormatContext *ofmt_ctx_audio = NULL, *ofmt_ctx_video = NULL;
	AVPacket pkt;

	int ret;
	int videoindex = -1, audioindex = -1;
	int frame_index = 0;

	// Input file URL
	const char *in_filename = "cuc_ieschool.ts";
	// Output video file URL
	const char *out_video_filename = "cuc_ieschool.h264";
	// Output audio file URL
	const char *out_audio_filename = "cuc_ieschool.aac";

	av_register_all();

	// 输入
	ret = avformat_open_input(&ifmt_ctx, in_filename, 0, 0);
	if (ret < 0)
	{
		printf("Could not open input file.\n");
		goto end;
	}

	ret = avformat_find_stream_info(ifmt_ctx, 0);
	if (ret < 0)
	{
		printf("Failed to retrieve input stream information.\n");
		goto end;
	}

	// 输出
	avformat_alloc_output_context2(&ofmt_ctx_video, NULL, NULL, out_video_filename);
	if (ofmt_ctx_video == NULL)
	{
		printf("Could not create output video context.\n");
		ret = AVERROR_UNKNOWN;
		goto end;
	}
	ofmt_video = ofmt_ctx_video->oformat;

	avformat_alloc_output_context2(&ofmt_ctx_audio, NULL, NULL, out_audio_filename);
	if (ofmt_ctx_audio == NULL)
	{
		printf("Could not create output audio context.\n");
		ret = AVERROR_UNKNOWN;
		goto end;
	}
	ofmt_audio = ofmt_ctx_audio->oformat;

	// Print some input information
	printf("\n============== Input Video =============\n");
	av_dump_format(ifmt_ctx, 0, in_filename, 0);

	for (size_t i = 0; i < ifmt_ctx->nb_streams; i++)
	{
		// Create output AVStream according to input AVStream
		AVFormatContext *ofmt_ctx;
		AVStream *in_stream = ifmt_ctx->streams[i];
		AVStream *out_stream = NULL;

		if (ifmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
		{
			videoindex = i;
			out_stream = avformat_new_stream(ofmt_ctx_video, in_stream->codec->codec);
			ofmt_ctx = ofmt_ctx_video;
		}
		else if (ifmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO)
		{
			audioindex = i;
			out_stream = avformat_new_stream(ofmt_ctx_audio, in_stream->codec->codec);
			ofmt_ctx = ofmt_ctx_audio;
		}
		else
			break;

		if (out_stream == NULL)
		{
			printf("Failed allocating output stream.\n");
			ret = AVERROR_UNKNOWN;
			goto end;
		}

		// Copy the settings of AVCodecContext
		ret = avcodec_copy_context(out_stream->codec, in_stream->codec);
		if (ret < 0)
		{
			printf("Failed to copy context from input to output stream codec context.\n");
			goto end;
		}
		out_stream->codec->codec_tag = 0;

		if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)
		{
			out_stream->codec->flags |= CODEC_FLAG_GLOBAL_HEADER;
		}
	}

	// // Print some output information
	printf("\n============== Output Video ============\n");
	av_dump_format(ofmt_ctx_video, 0, out_video_filename, 1);
	printf("\n============== Output Audio ============\n");
	av_dump_format(ofmt_ctx_audio, 0, out_audio_filename, 1);

	// Open output file
	if (!(ofmt_video->flags & AVFMT_NOFILE))
	{
		ret = avio_open(&ofmt_ctx_video->pb, out_video_filename, AVIO_FLAG_WRITE);
		if (ret < 0)
		{
			printf("Could not open output file '%s'.\n", out_video_filename);
			goto end;
		}
	}

	if (!(ofmt_audio->flags & AVFMT_NOFILE))
	{
		ret = avio_open(&ofmt_ctx_audio->pb, out_audio_filename, AVIO_FLAG_WRITE);
		if (ret < 0)
		{
			printf("Could not open output file '%s'.\n", out_audio_filename);
			goto end;
		}
	}

	// Write file header
	ret = avformat_write_header(ofmt_ctx_video, NULL);
	if (ret < 0)
	{
		printf("Error occurred when opening video output file.\n");
		goto end;
	}
	ret = avformat_write_header(ofmt_ctx_audio, NULL);
	if (ret < 0)
	{
		printf("Error occurred when opening audio output file.\n");
		goto end;
	}

#if USE_H264BSF
	AVBitStreamFilterContext* h264bsfc = av_bitstream_filter_init("h264_mp4toannexb");
#endif

	while (1)
	{
		AVFormatContext *ofmt_ctx;
		AVStream *in_stream, *out_stream;
		// 获取一个 AVPacket
		ret = av_read_frame(ifmt_ctx, &pkt);
		if (ret < 0)
		{
			break;
		}

		in_stream = ifmt_ctx->streams[pkt.stream_index];

		if (pkt.stream_index == videoindex)
		{
			out_stream = ofmt_ctx_video->streams[0];
			ofmt_ctx = ofmt_ctx_video;
			printf("Write a video packet. size:%d\tpts:%lld\n", pkt.size, pkt.pts);

#if USE_H264BSF
			av_bitstream_filter_filter(h264bsfc, ifmt_ctx->streams[videoindex]->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);
#endif
		}
		else if (pkt.stream_index == audioindex)
		{
			out_stream = ofmt_ctx_audio->streams[0];
			ofmt_ctx = ofmt_ctx_audio;
			printf("Write an audio packet. size:%d\tpts:%lld\n", pkt.size, pkt.pts);
		}
		else
			continue;

		// 转换 PTS/DTS
		pkt.pts = av_rescale_q_rnd(pkt.pts, in_stream->time_base,
			out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
		pkt.dts = av_rescale_q_rnd(pkt.dts, in_stream->time_base,
			out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
		pkt.duration = av_rescale_q(pkt.duration, in_stream->time_base, out_stream->time_base);
		pkt.pos = -1;
		pkt.stream_index = 0;

		// Write
		ret = av_interleaved_write_frame(ofmt_ctx, &pkt);
		if (ret < 0)
		{
			printf("Error muxing packet.\n");
			break;
		}

		printf("Write %8d frames to output file.\n", frame_index);
		av_free_packet(&pkt);
		frame_index++;
	}


#if USE_H264BSF
	av_bitstream_filter_close(h264bsfc);
#endif

	av_write_trailer(ofmt_ctx_audio);
	av_write_trailer(ofmt_ctx_video);


end:
	// Close input
	avformat_close_input(&ifmt_ctx);
	// Close output
	if (ofmt_ctx_audio && !(ofmt_audio->flags & AVFMT_NOFILE))
	{
		avio_close(ofmt_ctx_audio->pb);
	}
	if (ofmt_ctx_video && !(ofmt_video->flags & AVFMT_NOFILE))
	{
		avio_close(ofmt_ctx_video->pb);
	}

	avformat_free_context(ofmt_ctx_audio);
	avformat_free_context(ofmt_ctx_video);

	if (ret < 0 && ret != AVERROR_EOF)
	{
		printf("Error occurred.\n");
		return -1;
	}


	system("pause");
	return 0;
}

结果

运行程序，输出如下：

在这里插入图片描述

输入文件为：

cuc_ieschool.ts：MPEG2TS 封装格式数据。

在这里插入图片描述

输出文件为：

cuc_ieschool.aac：AAC 音频码流数据。

在这里插入图片描述

cuc_ieschool.h264：H.264 视频码流数据。

在这里插入图片描述

在这里插入图片描述

工程文件下载

GitHub：UestcXiye / Simplest-FFmpeg-Demuxer

CSDN：Simplest FFmpeg Demuxer.zip

参考链接

  1. 最简单的基于 FFmpeg 的视音频分离器 - 简化版
UestcXiye
关注
专栏目录
ffmpeg命令行实现音频通道分离
jiexijihe945的博客
02-27 1357
有时候开发上可能会面对一个场景，就是对于一个双声道的音频怎么样将所有的通道分离出来存到单独的文件里面，今天就给你答案。最常用的应该就是立体声了，同时拥有左右声道。最常用的还是立体声，所以，今天就基于立体声来操作。1、总体不难，这里只分离了音频通道，没有进行复杂的操作。
利用Linux实现MPEG4流媒体技术
01-19
嵌入式多媒体：利用Linux实现MPEG4流媒体技术
QT 使用ffmpeg 学习3 转封装
编程圈子-谢厂节的博客
05-11 640
一、概念 转封装是指在mp4、flv、avi等文件格式之间的转换。 常用见视频封装格式(容器)： 1. AVI 容器 AVI（Audio Video Interleaved）即音视频交错格式. AVI 符合 RIFF（Resource Interchange File Format）文件规范，使用四字符码 FOURCC（four-character code）来表征数据类型。AVI 的文件结构分为头部、主体和索引三部分。 主体中图像数据和声音数据是交互存放的，从尾部的索引可以索引跳到自己想放的位置。 AVI
【ffmpeg命令入门】分离音视频流
最新发布
m0_62599305的博客
07-24 1483
FFmpeg 是一款强大的多媒体处理工具，广泛应用于音视频的录制、转换和流媒体处理等领域。它支持几乎所有的音频和视频格式，提供了丰富的命令行选项，满足各种音视频处理需求。在实际应用中，有时我们需要将音频和视频流分离开来，以便进行独立的处理、编辑或转换。这种操作被称为“分离音视频流”（demuxing）。分离音视频流的需求场景很多，例如：在视频编辑过程中，需要单独处理音频和视频；在音频转码时，只需要提取音频流；在多轨道视频中，需要提取某一特定轨道的音频或视频等等。
使用FFMPEG分离mp4/flv文件中的264视频和aac音频
yunxiaobaobei的博客
04-25 1893
ffmpeg 4.4一个MP4或flv格式的视频文件。
基于ffmpeg的音视频分离
10-10
通过调用ffmpeg的sdk接口处理音视频数据，可以实现音视频数据的分离。
FFmpeg连载2-分离视频和音频
u012944685的专栏
04-21 1886
前言 前面我们搭建好了FFmpeg的开发环境，今天我们就来小试牛刀，使用FFmpeg库对mp4文件进行解封装，提取mp4中的视频流和音频流输出到单独的输出文件中。 关于FFmpeg开发环境搭建可以看我之前的文章:FFmpeg连载1-开发环境搭建 所谓的分离视频和音频是我们通俗的说法，官方的说法叫解封装。与解封装对应的叫封装或复用器，也就是将多个视频流或音频流合并成一个多媒体文件就叫封装。 API及数据结构介绍 在FFmpeg中解封装的大致流程如下图所示： 在这里需要注意的一个点是av_find_best_
使用ffmpeg对视频、音频进行分离
we chat：玩转测试开发
01-15 8581
简介：通常来说的一段视频主要由两个核心组成，即视频文件和音频文件。通过视频编辑工具，可以看到视频的同时，对应看出存在音频高低的柱状图。 查看视频信息源码： # coding:utf-8 import os file = r"C:\Users\\test.mp4" # 查看视频信息 print(os.system(fr'ffmpeg -i {file}')) 运行结果： 其中Video: h264 (High)为视频流，Audio: aac (LC)为音频流。 分离视频流范例： ffmpeg -i a
最简单的基于FFmpeg的封装格式处理：视音频分离器（demuxer）
sunshineywz的博客
05-21 393
简介 打算记录一下基于FFmpeg的封装格式处理方面的例子。包括了视音频分离，复用，封装格式转换。这是第2篇。 本文记录一个基于FFmpeg的视音频分离器（Simplest FFmpeg demuxer）。视音频分离器（Demuxer）即是将封装格式数据（例如MKV）中的视频压缩数据（例如H.264）和音频压缩数据（例如AAC）分离开。如图所示。在这个过程中并不涉及到编码和解码。 本文记录的程序...
最简单的基于FFMPEG的转码器（源代码）
05-24
因此特地分离出了一个简单的视频编码器供学习之用。 该视频转码器实现了视频格式之间的转换。包含了封装格式的转换以及视音频编码格式的转换。 尽管该视频转码器的代码十分简单，但是几乎包含了使用FFMPEG转码一个...
FFmpeg_03_视音频流分离
08-06
FFmpeg系列，之前有发过一部分，但并未系列总结性将功能展现，目前按序号，将常用的发上来，VC2010环境下
最简单的基于FFmpeg的封装格式处理 1.2
02-13
simplest ffmpeg demuxer：视音频分离器 simplest ffmpeg demuxer simple：视音频分离器（简化版） simplest ffmpeg muxer：视音频复用器 simplest ffmpeg remuxer：封装格式转换器 1.2版本增加了多平台下编译的...
最简单的基于FFmpeg的封装格式处理 视音频分离器（demuxer）
hffgjh的博客
11-15 770
最简单的基于FFmpeg的封装格式处理 视音频分离器（demuxer）
ffmpeg使用命令实现音视频分离
jiexijihe945的博客
02-27 1653
有时候由于特殊需要可能需要将一个视频（带音频）的视频流和音频流分离，今天就简单说下这个问题。本次经历的过程主要是读取文件->解复用->编码->封包->写入文件。其中如果没有改变流的编码方式，就不需要重新编码。1、很实用，但ffmpeg的强大功能只是冰山一角。
使用FFMPEG类库分离出多媒体文件中的音频码流
dianyimo9099的博客
09-18 187
在使用FFMPEG的类库进行编程的过程中，可以直接输出解复用之后的的音频数据码流。只需要在每次调用av_read_frame()之后将得到的视频的AVPacket存为本地文件即可。 经试验，在分离MP3码流的时候，直接存储AVPacket即可。 在分离AAC码流的时候，直接存储AVPacket后的文件可能是不能播放的。 如果视音频复用格式是TS（MPEG2 Tr...
FFmpeg分离（解封装）视频和音频
yinshipin007的博客
06-08 1727
获取音频流的索引，笔者开发中发现对于某些格式是无法获取成功的， 此时需要遍历一下解封装上下文的流，通过流的解码器类型来进行获取，例如你想要获取音频流，则可以判断解码器的类型是否是音频解码器即可。libavformat库，是FFmpeg中用于处理各种媒体容器格式的库，它描述了一个媒体文件或媒体流的构成和基本信息，它的两个主要功能就是封装和解封装，可以说它是贯穿整个FFmpeg的根。使用FFmpeg库对mp4文件进行解封装，提取mp4中的视频流和音频流输出到单独的输出文件中。
FFmpeg笔记：01 - 分离音视频流
weixin_34255055的博客
01-20 500
本文为该系列的第二篇，主要讲述如何使用 FFmpeg 分离容器格式（如：mp4、flv）里面的音视频流。在开始之前，我们先了解一下本文涉及到的几个主要类型： 类型 描述 AVInputFormat 代表输入格式，如：mp4、flv、rtp、hls AVOutputFormat 代表输出格式，如：mp4、flv、rtp、hls AVFormatContext 代表输入/输出文件...
ffmpeg 视频抽取音频，音频分离 方法大全 你长知识了吗？
qq_33199738的博客
08-18 2370
1. 抽离视频音频也叫提取视频音频 ffmpeg -i 3.mp4 -vn -y -acodec copy 3.aac ffmpeg -i 3.mp4 -vn -y -acodec copy 3.m4a ffmpeg -y -i 3.MP4 -f mp3 3.MP3 ffmpeg -i input.m4a -acodec pcm_s16le -ac 2 -ar 44100 output.wav ffmpeg -i input.mp4 -acodec pcm_s16le -ac 2 -ar 4.
利用Python-FFmpeg制作个性化音频文件生成器
资源摘要信息:"基于python-ffmpeg的随舞音频文件生成器" 知识点: 1. Python编程: 本项目主要使用Python语言进行开发，Python是一种广泛使用的高级编程语言，以其简洁易读的代码风格而闻名。在本项目中，Python用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UestcXiye

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值