FFmpeg入门教程:常见API使用及C语言开发

最新推荐文章于 2024-07-17 12:58:21 发布
最新推荐文章于 2024-07-17 12:58:21 发布
阅读量5.8k 收藏 31
点赞数 2
分类专栏： FFmpeg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38051293/article/details/104703396
版权

FFmpeg入门教程:常见API使用及C语言开发


因为项目原因接触使用ffmpeg，当时是使用c#调用ffmpeg，通过指令对视频进行转码。指令的方式比较容易上手，但是如果涉及到复杂点的音视频二次开发，如果没有对音视频相关概念有一定的了解的话，感觉很难理解代码的含义和逻辑。由于兴趣最近开始摸索学习ffmpeg API的相关使用。

相关概念理解

1、多媒体文件的基本概念

  • 多媒体文件就是一个容器
  • 在容器中有很多流（Stream/Track)
  • 每种流是由不同的编码器编码的
  • 从流中读出的数据称为包
  • 在一个包中包含着一个或多个帧

2、音频的量化编码

  • 模拟信号到数字信号的转换过程（连续 ->离散、不连续的过程才能被计算机使用
  • 模拟信号->采样->量化->编码->数字信号
  • 量化的基本概念： 采样大小：一个采样用多少个bit存放，常用的是16bit
  • 采样率：也就是采样频率(1秒采样次数)，一般采样率有8kHz、16kHz、32kHz、44.1kHz、48kHz等，采样频率越高，声音的还原就越真实越自然，当然数据量就越大
  • 声道数：为了播放声音时能够还原真实的声场，在录制声音时在前后左右几个不同的方位同时获取声音，每个方位的声音就是一个声道。声道数是声音录制时的音源数量或回放时相应的扬声器数量，有单声道、双声道、多声道
  • 码率：也叫比特率，是指每秒传送的bit数。单位为 bps(Bit Per Second)，比特率越高，每秒传送数据就越多，音质就越好。
码率计算公式：
码率 = 采样率 * 采样大小 * 声道数
比如采样率44.1kHz，采样大小为16bit，双声道PCM编码的WAV文件：
码率=44.1hHz*16bit*2=1411.2kbit/s。
录制1分钟的音乐的大小为(1411.2 * 1000 * 60) / 8 / 1024 / 1024 = 10.09M。

3、时间基

  • time_base是用来度量时间的，比如time_base = {1,40},它的意思是将1秒分成40段，那么每段就是1/40秒，在FFmpeg中函数av_q2d(time_base)就是用来计算一段的时间的，计算结果就是1/40秒。比如一个视频中某一帧的pts是800，也就是说有800段，那么它表示多少秒呢，pts av_q2d(time_base)=800(1/40)=20s，也就是说要在第20秒的时候播放这一帧 时间基的转换。不同格式时间基的不同。
  • PTS是渲染用的时间戳。DTS是解码时间戳。
    音频的PTS:以AAC音频为例，一个AAC原始帧包含一段时间内1024个采样及相关数据，也就是说一帧有1024个样本，如果采样率为44.1kHz(1秒采集44100个样本)，所以aac音频1秒有44100/1024帧，每一帧的持续时间是1024/44100秒，由此可以计算出每一帧的pts。
  • 转换公式
timestamp(秒) = pts * av_q2d(st->time_base)//计算该帧在视频音频中的位置
time(秒) = st->duration * av_q2d(st->time_base)//计算视频音频中的长度
st  为AVStream流指针
时间基转换公式
timestamp(ffmpeg内部时间戳) = AV_TIME_BASE * time(秒)
time(秒) = AV_TIME_BASE_Q * timestamp(ffmpeg内部时间戳)//timestamp就算是PTS/DTS

环境配置

相关下载

进入官网 分别下载Dev和Shared压缩包。下载注意平台的选择对应。
将dev中include、lib文件分别解压到如下目录下。将shared中dll文件拷贝到项目Debug目录下，分则会出现报错。
在这里插入图片描述

环境配置

在VS中创建c/c++项目，右键项目属性
在这里插入图片描述
在这里插入图片描述
在其中添加如下dll文件

avcodec.lib; avformat.lib; avutil.lib; avdevice.lib; avfilter.lib; postproc.lib; swresample.lib; swscale.lib

libavcodec  提供一系列编码器的实现
libavformat 实现在流协议，容器格式及其IO访问
libavutil 包括了hash器、解码器和各种工具函数
libavfilter 提供了各种音视频过滤器
libavdevice 提供了访问捕获设备和回放设备的接口
libswresample 实现了混音和重采样
libswscale 实现了色彩转换和缩放功能

在这里插入图片描述

测试

本人是使用VS2017作为编辑器进行开发。

#include<stdio.h>
#include <iostream>
extern "C" {
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
}
int main(int argc, char* argv[]) {
	printf(avcodec_configuration());
	system("pause");
	return 0;
}

在这里插入图片描述

开发案例

实现对两组视频的视频音频混搭，一个类似小咖秀的功能。

处理逻辑及使用API

  • API注册
  • 创建输入、输出上下文
  • 获取输入音频流、输入视频流
  • 创建输出音频流、输出视频流
  • 将输入流参数拷贝到输出流参数
  • 判断文件大小，确定输出文件长度
  • 写入头信息
  • 初始化包、分别读取音视频数据并写入文件
    在这里插入图片描述

相关代码


#include<stdio.h>
#include <iostream>
extern "C" {
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libavformat/avio.h"
#include <libavutil/log.h>
#include <libavutil/timestamp.h>
}
#define ERROR_STR_SIZE 1024
int main(int argc, char const *argv[])
{
	int ret = -1;
	int err_code;
	char errors[ERROR_STR_SIZE];
	AVFormatContext *ifmt_ctx1 = NULL;
	AVFormatContext *ifmt_ctx2 = NULL;
	AVFormatContext *ofmt_ctx = NULL;
	AVOutputFormat *ofmt = NULL;
	AVStream *in_stream1 = NULL;
	AVStream *in_stream2 = NULL;
	AVStream *out_stream1 = NULL;
	AVStream *out_stream2 = NULL;
	int audio_stream_index = 0;
	int vedio_stream_indes = 0;
	// 文件最大时长，保证音频和视频数据长度一致
	double max_duration = 0;
	AVPacket pkt;
	int stream1 = 0, stream2 = 0;
	av_log_set_level(AV_LOG_DEBUG);
	//打开两个输入文件
	if ((err_code = avformat_open_input(&ifmt_ctx1, "C:\\Users\\haizhengzheng\\Desktop\\meta.mp4", 0, 0)) < 0) {
		av_strerror(err_code, errors, ERROR_STR_SIZE);
		av_log(NULL, AV_LOG_ERROR, "Could not open src file, %s, %d(%s)\n",
			"C:\\Users\\haizhengzheng\\Desktop\\meta.mp4", err_code, errors);
		goto END;
	}
	if ((err_code = avformat_open_input(&ifmt_ctx2, "C:\\Users\\haizhengzheng\\Desktop\\mercury.mp4", 0, 0)) < 0) {
		av_strerror(err_code, errors, ERROR_STR_SIZE);
		av_log(NULL, AV_LOG_ERROR,
			"Could not open the second src file, %s, %d(%s)\n",
			"C:\\Users\\haizhengzheng\\Desktop\\mercury.mp4", err_code, errors);
		goto END;
	}
	//创建输出上下文
	if ((err_code = avformat_alloc_output_context2(&ofmt_ctx, NULL, NULL, "C:\\Users\\haizhengzheng\\Desktop\\amv.mp4")) < 0) {
		av_strerror(err_code, errors, ERROR_STR_SIZE);
		av_log(NULL, AV_LOG_ERROR, "Failed to create an context of outfile , %d(%s) \n",
			err_code, errors);
	}
	ofmt = ofmt_ctx->oformat;//获得输出文件的格式信息
	// 找到第一个参数里最好的音频流和第二个文件中的视频流下标
	audio_stream_index = av_find_best_stream(ifmt_ctx1, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);//获取音频流下标
	vedio_stream_indes = av_find_best_stream(ifmt_ctx2, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);//获取视频流下标
	// 获取第一个文件中的音频流
	in_stream1 = ifmt_ctx1->streams[audio_stream_index];
	stream1 = 0;
	// 创建音频输出流
	out_stream1 = avformat_new_stream(ofmt_ctx, NULL);
	if (!out_stream1) {
		av_log(NULL, AV_LOG_ERROR, "Failed to alloc out stream!\n");
		goto END;
	}
	// 拷贝流参数
	if ((err_code = avcodec_parameters_copy(out_stream1->codecpar, in_stream1->codecpar)) < 0) {
		av_strerror(err_code, errors, ERROR_STR_SIZE);
		av_log(NULL, AV_LOG_ERROR,
			"Failed to copy codec parameter, %d(%s)\n",
			err_code, errors);
	}
	out_stream1->codecpar->codec_tag = 0;
	// 获取第二个文件中的视频流
	in_stream2 = ifmt_ctx2->streams[vedio_stream_indes];
	stream2 = 1;

	// 创建视频输出流
	out_stream2 = avformat_new_stream(ofmt_ctx, NULL);
	if (!out_stream2) {
		av_log(NULL, AV_LOG_ERROR, "Failed to alloc out stream!\n");
		goto END;
	}
	// 拷贝流参数
	if ((err_code = avcodec_parameters_copy(out_stream2->codecpar, in_stream2->codecpar)) < 0) {
		av_strerror(err_code, errors, ERROR_STR_SIZE);
		av_log(NULL, AV_LOG_ERROR,
			"Failed to copy codec parameter, %d(%s)\n",
			err_code, errors);
		goto END;
	}
	out_stream2->codecpar->codec_tag = 0;
	//输出流信息
	av_dump_format(ofmt_ctx, 0, "C:\\Users\\haizhengzheng\\Desktop\\amv.mp4", 1);

	// 判断两个流的长度，确定最终文件的长度    time(秒) = st->duration * av_q2d(st->time_base)   duration 就是dts\pts     av_q2d()就是倒数
	if (in_stream1->duration * av_q2d(in_stream1->time_base) > in_stream2->duration * av_q2d(in_stream2->time_base)) {
		max_duration = in_stream2->duration * av_q2d(in_stream2->time_base);
	}
	else {
		max_duration = in_stream1->duration * av_q2d(in_stream1->time_base);
	}
	//打开输出文件
	if (!(ofmt->flags & AVFMT_NOFILE)) {
		if ((err_code = avio_open(&ofmt_ctx->pb, "C:\\Users\\haizhengzheng\\Desktop\\amv.mp4", AVIO_FLAG_WRITE)) < 0) {
			av_strerror(err_code, errors, ERROR_STR_SIZE);
			av_log(NULL, AV_LOG_ERROR,
				"Could not open output file, %s, %d(%s)\n",
				"C:\\Users\\haizhengzheng\\Desktop\\amv.mp4", err_code, errors);
			goto END;
		}
	}
	//写头信息
	avformat_write_header(ofmt_ctx, NULL);
	av_init_packet(&pkt);
	// 读取音频数据并写入输出文件中
	while (av_read_frame(ifmt_ctx1, &pkt) >= 0) {
		// 如果读取的时间超过了最长时间表示不需要该帧，跳过
		if (pkt.pts * av_q2d(in_stream1->time_base) > max_duration) {
			av_packet_unref(&pkt);
			continue;
		}
		// 如果是我们需要的音频流，转换时间基后写入文件  av_rescale_q_rnd()时间基转换函数
		if (pkt.stream_index == audio_stream_index) {
			pkt.pts = av_rescale_q_rnd(pkt.pts, in_stream1->time_base, out_stream1->time_base,//获取包的PTS\DTS\duration
				(AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
			pkt.dts = av_rescale_q_rnd(pkt.dts, in_stream1->time_base, out_stream1->time_base,
				(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
			pkt.duration = av_rescale_q(max_duration, in_stream1->time_base, out_stream1->time_base);
			pkt.pos = -1;
			pkt.stream_index = stream1;
			av_interleaved_write_frame(ofmt_ctx, &pkt);
			av_packet_unref(&pkt);
		}
	}


	// 读取视频数据并写入输出文件中
	while (av_read_frame(ifmt_ctx2, &pkt) >= 0) {

		// 如果读取的时间超过了最长时间表示不需要该帧，跳过
		if (pkt.pts * av_q2d(in_stream2->time_base) > max_duration) {
			av_packet_unref(&pkt);
			continue;
		}
		// 如果是我们需要的视频流，转换时间基后写入文件
		if (pkt.stream_index == vedio_stream_indes) {
			pkt.pts = av_rescale_q_rnd(pkt.pts, in_stream2->time_base, out_stream2->time_base,
				(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
			pkt.dts = av_rescale_q_rnd(pkt.dts, in_stream2->time_base, out_stream2->time_base,
				(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
			pkt.duration = av_rescale_q(max_duration, in_stream2->time_base, out_stream2->time_base);
			pkt.pos = -1;
			pkt.stream_index = stream2;
			av_interleaved_write_frame(ofmt_ctx, &pkt);
			av_packet_unref(&pkt);
		}
	}
	//写尾信息
	av_write_trailer(ofmt_ctx);
		ret = 0;
END:
	// 释放内存
	if (ifmt_ctx1) {
		avformat_close_input(&ifmt_ctx1);
	}

	if (ifmt_ctx2) {
		avformat_close_input(&ifmt_ctx2);
	}

	if (ofmt_ctx) {
		if (!(ofmt->flags & AVFMT_NOFILE)) {
			avio_closep(&ofmt_ctx->pb);
		}
		avformat_free_context(ofmt_ctx);
	}
}

参考文章

音频基础知识
代码参考

CDUT大米饭
关注
  • 2
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FFmpeg库常用函数介绍（一）
m0_51496461的博客
12-31 1314
作用：打开媒体文件并获取媒体文件信息，可以是本地文件，也可以时网络流。ps：输入文件的AVFormatContext，会将获取的信息填充进去；url：流地址，可以是本地文件、RTMP、RTP协议流地址；fmt：一般为NULL，表示自动检测流格式，否则会使用提供的值作为流格式；options：一般为NULL；返回值：0表示成功，负值表示失败。注意：需要调用avformat_close_input关闭AVFormatContext。
C#开发FFMPEG例子(API方式) FFmpeg推送udp组播流
daqinzl的专栏
08-05 2057
本文在C/C++调用FFmpeg的API的例子的基础上，用C#使用ffmpeg.autogen实现推送udp组播流。
ffmpeg 常用api 一
最新发布
hunandede的博客
07-17 956
注意：在较新版本中，该函数已被弃用，取而代之的是avcodec_parameters_copy、avcodec_parameters_to_context和avcodec_parameters_from_context。作用：和av_rescale_q_rnd的作用完全一样，也是将以时间基bq表示的时间戳a转换成以时间基cq表示，区别在于取整方式不可选，固定为AV_ROUND_NEAR_INF，也就是四舍五入。一般不使用，为NULL；format_name：输出格式的名称，例如”avi”、”flv”等。
ffmpeg API基础
Rainman的博客
03-22 560
本文会简单介绍一下ffmpeg demuxer、decoder的调用流程。本系列文章基于ffmpeg4.2版本，以ffplay.c调用的ffmpeg API为切入点进行讲解。 一、demuxer部分 ffmpeg打开媒体文件（本地/网络）的过程开始于avformat_open_input，该函数定义在avformat.h中： /** * 打开输入流并读取头信息。未打开编解码器。 * 必须使用a...
FFmpegAPI使用手册
10-26
FFmpegAPI使用手册 FFmpeg的基本组成 FFmpeg 的编译安装 FFmpeg 编码支持与定制...
【音视频基础】FFmpeg API 基础
C/C++Linux、音视频、DPDK
06-15 503
一般情况下 FFmpeg 类库的源代码中是不允许使用 printf() 这种的函数的，所有的输出一律使用 av_log()。avcodec_find_encoder() 用于查找 FFmpeg 的编码器，avcodec_find_decoder() 用于查找 FFmpeg 的解码器，声明都位于 libavcodec\avcodec.h。例如，解码视频的时候，每解码一个视频帧，需要先调用 av_read_frame() 获得一帧视频的压缩数据，然后才能对该数据进行解码。同理的还有 av_realloc()。
ffmpeg 常用API编程
qzs_kaka的博客
09-27 1422
ffmpeg 常用API编程ffmpeg 常用API编程 AVDictionary AVDictionary类似Java Map 的数据结构:struct AVDictionary { int count; AVDictionaryEntry *elems; }; typedef struct AVDictionaryEntry { char *key;
使用C语言开发的播放器源码，适合刚入门学习C语言编程的爱好者
03-22
总的来说，"使用C语言开发的播放器源码"项目涵盖了C语言编程的多个方面，包括基本语法、函数使用、内存管理、系统调用、文件I/O、错误处理、库的使用以及软件工程的一些基础实践。对初学者而言，这是一个很好的学习...
FFMpeg框架代码阅读.zip_FFmpeg 入门_ffmpeg_ffmpeg 资料
09-21
FFmpeg框架代码阅读.zip中的资源是为初学者准备的FFmpeg入门材料，帮助用户从源代码层面理解FFmpeg的工作原理。下面将详细阐述FFmpeg的主要组件、功能以及如何进行代码阅读。 FFmpeg的核心组成部分包括libavcodec...
FFmpeg入门指南.zip
03-24
3. **FFmpeg的API使用**：FFmpeg提供了丰富的C语言API，让开发者可以编写自定义的多媒体应用。初学者会逐步学习如何初始化、打开文件、读取流、编码/解码数据、关闭文件等基本步骤。 4. **编码与解码**：理解编码和...
C#开发FFMPEG例子(API方式) FFmpeg拉取RTMP流并播放
09-12
网上C#调用FFmpeg的API例子很少，大多是C/C++的，因为ffmpeg.autogen的名称与FFmpeg完全一样，所以C#中可以直接复制C/C++代码，然后在FFmpeg的方法前加入 ffmpeg. 即可。
FFmpeg API 文档
09-08
title:FFmpeg 文档 version:3.3 note:FFmpeg文档，使用Doxygen生成。你也可以自己下载FFmpeg源码，然后使用doxygen生成。
Linux平台下基于FFmpeg API的程序设计（详细注释）
03-28
具体可参见我的这篇博客 https://blog.csdn.net/qq_41915225/article/details/88877250
ffmpeg入门学习1
12-14
5. **FFmpeg API**：在深入学习时，你可能需要了解FFmpeg的C语言API，以便自定义更复杂的处理流程。例如，使用`avformat_open_input`打开一个媒体文件，`avformat_find_stream_info`获取流信息，`avcodec_decode_...
音视频开发从入门到精通.rar
09-02
在"音视频开发从入门到精通"的学习过程中，你可以通过"音视频资料20200629"这个文档集合获取更多实践和理论知识，逐步深入每个主题，包括FFmpeg的源码阅读、播放器的架构设计、RTMP协议的实现、WebRTC的应用开发，...
ffmpeg 视频解码流程及对应API使用
洛的博客
01-31 5393
1、ffmpeg解码流程 《1》、ffmpeg旧接口的解码流程 《2》、新接口解码流程   注意在新接口流程中使用avcodec_parameters_to_context函数来初始解码器参数，在未加入该步骤之前解析avi封装的mpeg4视频没问题但是解析MP4封装的mpeg4视频会报如下错误 Picture size is 0x00 加上该步骤后解决(解析wmv格式视频也必须加入这一步) ...
FFmpeg 常用API
yinshipin007的博客
07-19 2641
一般情况下FFmpeg类库的源代码中是不允许使用printf()这种的函数的，所有的输出一律使用av_log()。avcodec_find_encoder()用于查找FFmpeg的编码器，avcodec_find_decoder()用于查找FFmpeg的解码器，声明都位于libavcodec\avcodec.h。例如，解码视频的时候，每解码一个视频帧，需要先调用av_read_frame()获得一帧视频的压缩数据，然后才能对该数据进行解码。同理的还有av_realloc()。...
FFMPEG常用API
itheimach的专栏
09-16 3171
最近开始集中学习使用FFMpeg，对一些常用的api有了一个大致的了解，下面做个记录以备忘！FFMPEG处理流程FFMPEG的函数使用成千上万，不容易记住，但是如果知道她的使用流程的话，那就方便记住的多了！ 在我理解的流程如下：1.打开并且初始化输入流（AVFormatContext）: 数据的来源，来自一个网络流，还是一个文件.... 2.打开并且初始化输出流（AVFormatConte
C语言怎么获取ffmpeg的api
03-27
获取FFmpeg的API，需要进行以下步骤： 1. 下载FFmpeg源代码，可以从官方网站（https://ffmpeg.org/download.html）下载最新版本的源代码。 2. 安装FFmpeg，可以按照官方文档（https://ffmpeg.org/documentation.html）进行安装。 3. 在C语言代码中包含FFmpeg的头文件，例如： #include <libavformat/avformat.h> 4. 在C语言代码中调用FFmpeg的API函数，例如： AVFormatContext *avFormatContext = avformat_alloc_context(); int ret = avformat_open_input(&avFormatContext, "input.mp4", NULL, NULL); if (ret < 0) { printf("Could not open input file.\n"); return -1; } 5. 编译C语言代码时需要链接FFmpeg的库文件，例如： gcc -o myapp myapp.c -lavformat -lavcodec -lavutil 其中-lavformat、-lavcodec、-lavutil是链接FFmpeg的库文件。 以上就是获取FFmpeg的API的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值