视频添加背景音乐ffmpeg(十八)

最新推荐文章于 2024-06-04 11:00:07 发布
最新推荐文章于 2024-06-04 11:00:07 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： ffmpeg 文章标签： ffmpeg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21743659/article/details/109327417
版权

前言

有时候有一段无声的视频，想为其添加背景音乐，增加视频的丰富性。这种需求应该也很常见，本文目标就是为一段无声视频添加背景音乐，同时满足如下的需求：
1、声音可以添加在视频时间轴上的任意位置开始
2、以视频时间轴为参考，若音频时间最终超过视频的最大时间则截断
合并后新的音视频文件能够正常速率播放

实现思路分析

这里无声视频选择MP4，要添加的音频文件选择aac。其它格式类似；
我们知道，基于ffmpeg解封装时，音视频文件最终是由一系列AVPacket组成的；同理基于ffmpeg封装时，调用av_write_frame()函数将一些列音视频的AVPacket写入封装文件，最终得到的文件即可正常播放。那么对于无声的视频文件来说，它已有一路视频流，只需要为其再添加一路音频流即可。所以总体思路如下：
1、创建一个封装器AVFormatContext，添加一路视频流，用于存储源无声视频数据；添加一路音频流，用于存储要添加的音频数据
2、对于读取的源视频AVPacket，原封不动的写入到目标视频流中；对于读取的源音频AVPacket，其pts和dts的值都要加上想要加入视频时刻位置的时间戳，然后再写入到目标音频流中

流程图

image.png

实现代码

这里实现实现给任意一个无声的视频文件添加背景音乐的功能；为了简化处理，假设要加入的音频编码方式被视频容器格式支持。要求：
1、声音可以在视频时间轴上的任意位置开始
2、以视频时间轴为参考，若音频时间最终超过则截断
目的：合并后的文件能正确播放视频以及音频

 

using namespace std;
extern "C"
{
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
#include <libavutil/timestamp.h>
#include <libswscale/swscale.h>
#include <libswresample/swresample.h>
}
class Merge
{
public:
    Merge();
    ~Merge();
     
    /** 实现给任意一个无声的视频文件添加背景音乐的功能；为了简化处理，假设要加入的音频编码方式被视频容器格式支持。要求：
     *  1、声音可以在视频时间轴上的任意位置开始
     *  2、以视频时间轴为参考，若音频时间最终超过则截断
     *  目的：合并后的文件能正确播放视频以及音频
     */
    void addMusic();
    
private:
    
    string dstpath;
    AVFormatContext *in_fmt1;
    AVFormatContext *ou_fmt;
    int video1_in_index,audio1_in_index;
    int video_ou_index,audio_ou_index;
    int64_t next_video_pts,next_audio_pts;
     
    // 用于添加背景音乐
    int64_t start_pos;
    
 
    void releasesources();
};

start_pos 用来记录音频背景要加入到视频的参考时间戳位置，下面试addMusic的实现文件

 

void Merge::addMusic()
{
    string curFile(__FILE__);
    unsigned long pos = curFile.find("2-video_audio_advanced");
    if (pos == string::npos) {
        LOGD("not found fil");
        return;
    }
    /** 遇到问题：如果添加的音频文件为Mp3文件，则使用苹果的内置播放器及苹果手机没有声音。如果添加的是aac音频 则没有问题
     *  分析原因：暂时未知
     *  解决方案：暂时未知
     */
    string srcDic = curFile.substr(0,pos) + "filesources/";
    string srcpath  = srcDic + "test_1280x720_4.mp4";
//    string srcpath2 = srcDic + "test-mp3-1.mp3";
    string srcpath2 = srcDic + "test_441_f32le_2.aac";
    string dstpath = srcDic + "11_add_music.mp4";
    
    string start = "00:00:05";
    start_pos += stoi(start.substr(0,2))*3600;
    start_pos += stoi(start.substr(3,2))*60;
    start_pos += stoi(start.substr(6,2));
    
    in_fmt1 = NULL;// 用于解封装视频
    in_fmt2 = NULL;// 用于解封装音频
    ou_fmt = NULL;  //用于封装音视频
    
    // 打开视频文件
    if (avformat_open_input(&in_fmt1, srcpath.c_str(), NULL, NULL) < 0) {
        LOGD("1 avformat_open_input() fail");
        return;
    }
    if (avformat_find_stream_info(in_fmt1, NULL) < 0) {
        LOGD("1 avformat_find_stream_info");
        releasesources();
        return;
    }
    
    // 打开音频文件
    if (avformat_open_input(&in_fmt2, srcpath2.c_str(), NULL, NULL) < 0) {
        LOGD("2 avformat_open_input() fail");
        return;
    }
    if (avformat_find_stream_info(in_fmt2, NULL) < 0) {
        LOGD("2 avformat_find_stream_info");
        releasesources();
        return;
    }
    for (int i=0; i<in_fmt1->nb_streams; i++) {
        AVStream *stream = in_fmt1->streams[i];
        if (stream->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
            video1_in_index = i;
            break;
        }
    }
    for (int i = 0; i<in_fmt2->nb_streams; i++) {
        AVStream *stream = in_fmt2->streams[i];
        if (stream->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {
            audio1_in_index = i;
            break;
        }
    }
    
    // 打开输出文件的封装器
    if (avformat_alloc_output_context2(&ou_fmt, NULL, NULL, dstpath.c_str()) < 0) {
        LOGD("avformat_alloc_out_context2 ()");
        releasesources();
        return;
    }
    
    // 添加视频流并从输入源拷贝视频流编码参数
    AVStream *stream = avformat_new_stream(ou_fmt, NULL);
    video_ou_index = stream->index;
    if (avcodec_parameters_copy(stream->codecpar, in_fmt1->streams[video1_in_index]->codecpar) < 0) {
        releasesources();
        return;
    }
    // 如果源和目标文件的码流格式不一致，则将目标文件的code_tag赋值为0
    if (av_codec_get_id(ou_fmt->oformat->codec_tag, in_fmt1->streams[video1_in_index]->codecpar->codec_tag) != stream->codecpar->codec_id) {
        stream->codecpar->codec_tag = 0;
    }
    // 添加音频流并从输入源拷贝编码参数
    AVStream *a_stream = avformat_new_stream(ou_fmt, NULL);
    audio_ou_index = a_stream->index;
    if (avcodec_parameters_copy(a_stream->codecpar, in_fmt2->streams[audio1_in_index]->codecpar) < 0) {
        LOGD("avcodec_parameters_copy fail");
        releasesources();
        return;
    }
    if (av_codec_get_id(ou_fmt->oformat->codec_tag, in_fmt2->streams[audio1_in_index]->codecpar->codec_tag) != a_stream->codecpar->codec_id) {
        a_stream->codecpar->codec_tag = 0;
    }
    
    // 打开输出上下文
    if (!(ou_fmt->oformat->flags & AVFMT_NOFILE)) {
        if (avio_open2(&ou_fmt->pb, dstpath.c_str(), AVIO_FLAG_WRITE, NULL, NULL) < 0) {
            LOGD("avio_open2() fail");
            releasesources();
            return;
        }
    }
    
    // 写入头文件
    if (avformat_write_header(ou_fmt, NULL) < 0) {
        LOGD("avformat_write_header()");
        releasesources();
        return;
    }
    

    AVPacket *v_pkt = av_packet_alloc();
    AVPacket *a_pkt = av_packet_alloc();
    // 写入视频
    int64_t video_max_pts = 0;
    while (av_read_frame(in_fmt1, v_pkt) >= 0) {
        if (v_pkt->stream_index == video1_in_index) {   // 说明是视频
            // 因为源文件和目的文件时间基可能不一致，所以这里要进行转换
            av_packet_rescale_ts(v_pkt, in_fmt1->streams[video1_in_index]->time_base, ou_fmt->streams[video_ou_index]->time_base);
            v_pkt->stream_index = video_ou_index;
            video_max_pts = max(v_pkt->pts, video_max_pts);
            LOGD("video pts %d(%s)",v_pkt->pts,av_ts2timestr(v_pkt->pts, &stream->time_base));
            if (av_write_frame(ou_fmt, v_pkt) < 0) {
                LOGD("1 av_write_frame < 0");
                releasesources();
                return;
            }
        }
    }

    int64_t start_pts = start_pos * a_stream->time_base.den;
    video_max_pts = av_rescale_q(video_max_pts, stream->time_base, a_stream->time_base);
    // 写入音频
    while (av_read_frame(in_fmt2, a_pkt) >= 0) {
        if (a_pkt->stream_index == audio1_in_index) {   // 音频
    
            // 源文件和目标文件的时间基可能不一致，需要转化
            av_packet_rescale_ts(a_pkt, in_fmt2->streams[audio1_in_index]->time_base, ou_fmt->streams[audio_ou_index]->time_base);
            // 保证以视频时间轴的指定时间进行添加，那么实际上就是改变pts及dts的值即可
            a_pkt->pts += start_pts;
            a_pkt->dts += start_pts;
            a_pkt->stream_index = audio_ou_index;
            LOGD("audio pts %d(%s)",a_pkt->pts,av_ts2timestr(a_pkt->pts, &a_stream->time_base));
            // 加入音频的时长不能超过视频的总时长
            if (a_pkt->pts >= video_max_pts) {
                break;
            }
            
            if (av_write_frame(ou_fmt, a_pkt) < 0) {
                LOGD("2 av_write_frame < 0");
                releasesources();
                return;
            }
        }
    }
    
    av_write_trailer(ou_fmt);
    LOGD("写入完毕");
    
    // 释放资源
    releasesources();
    
}

遇到问题

1、如果添加的音频文件为Mp3文件，则使用苹果的内置播放器及苹果手机没有声音。如果添加的是aac音频 则没有问题，如果是为MOV视频添加MP3音频文件，也不会有问题
分析原因：原因不详

后参数用ffmpeg命令为MP4视频添加mp3音乐背景，发现也有同样的问题，应该是ffmpeg对于mp4文件写入mp3编码格式码流方式和苹果设备不兼容。

项目地址

https://github.com/nldzsz/ffmpeg-demo

位于cppsrc目录下Merge.hpp/Merge.cpp文件中的
addMusic()函数中

 

image.png

项目下示例可运行于iOS/android/mac平台，工程分别位于demo-ios/demo-android/demo-mac三个目录下，可根据需要选择不同平台



作者：仙人掌D
链接：https://www.jianshu.com/p/52bf6365d153
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

鱼儿-1226
关注
专栏目录
FFmpeg进阶: 给视频添加背景音乐
yang1fei2的博客
12-04 2692
在抖音、快手一类的短视频软件中，为了提升视频的效果，我们通常会给视频添加有趣的背景音乐。通过FFmpeg库我们也可以给视频添加背景音乐，这里就介绍一下如何通过FFmpeg库给视频添加背景音乐。添加背景音乐的原理图如下图所示
FFMPEG音频视频开发: 命令行方式给视频添加音频数据
01-31 1983
一、环境介绍 操作系统介绍：win10 64位 FFMPEG版本:4.4.2 QT版本:5.12.6 二、FFMPEG下载 ubuntu系统下编译安装ffmpeg:https://blog.csdn.net/xiaolong1126626497/article/details/104919095 windos系统下安装ffmpeg:https://blog.csdn.net/xiaolong1126626497/article/details/105412560 三、去掉视频原...
winform利用ffmpeg给视频添加背景乐
08-03
项目需要给视频加上背景音乐，但网上查了下，发现很多例子都是利用ffmpeg.exe，然后通过命令行的形式将视频和音频合并为一个新的视频，明显不符合要求，所以就利用网上的资料自己写了一个
python调用ffmpeg实现为一个语音文件添加背景音乐
JAMES费的空间
03-12 1187
在给一个自媒体朋友编写一个根据文本自动生成音频文件，最后需要添加背景音乐，python可以调用ffmpeg的合并音频功能实现。确认在环境变量中添加了ffmpeg的bin路径，验证办法是cmd调出命令窗口，输入命令ffmpeg，有版本信息打印出来。前提条件，在操作系统中先安装ffmpeg，连接如(
用ffmpeg对视频添加语音、背景音乐和字幕的方法
不甜
06-04 1185
其余参数涉及视频和音频的编码设置，如使用H.264编码器(-c:v libx264)、CRF值(-crf 23)、预设(-preset veryfast)、AAC音频编码(-c:a aac)和音频比特率(-b:a 128k)等，用于控制输出文件的质量和兼容性。-map “[vout]” -map “[audio_mixed]” 指定最终输出使用哪些流：处理过的视频流[vout]和混合后的音频流[audio_mixed]。[1:a] 指的是第二个输入文件（voice.mp3）的音频部分。
ffmpeg学习日记601-指令-视频裁剪，添加bgm合成mp4
WenCoo的博客
12-03 566
# 实现功能： 1. 截取视频片段 2. 将截取的视频合成视频 3. 将视频添加bgm，合成成品mp4
winform使用ffmpeg给视频添加背景音乐
zzsmcj的博客
08-03 726
winform使用ffmpeg给视频添加背景音乐 我太懒了，第一次写博（ban）客（yun），有什么不对的地方欢迎指正。 主要使用以下操作指令： ffmpeg -i old.mp4 -i old.mp3 -codec copy new.mp4 话不多说，直接上代码 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Diagnostics
ffmpeg实战教程（十二）为视频添加/更换背景音乐
热门推荐
WangShuo的专栏
05-22 1万+
2017年，各种关于视频处理的功能层出不穷，现在基本上大多APP都有视频上传播放功能。 然而上传，播放可用的优秀框架有很多，我们在此就不说了。 本篇我们就做一个用ffmpeg给视频添加/更换背景音乐的功能UI界面有两个输入框，第一个填入要加背景音乐的视频文件，第一个要添加音乐的文件。 然后点击按钮。 可见在手机根目录生成了一个合成的视频文件。试播一下，发现已经有了背景音乐。 其实现原理主要是
ffmpeg视频合并、添加背景音乐命令整理
yeZhuShanCun的博客
01-17 4078
1、视频合并 第一步将output1.mp4文件转成output1.ts ffmpeg -i /storage/emulated/0/Movies/output1.mp4 -vcodec copy -acodec copy -vbsf h264_mp4toannexb /storage/emulated/0/Movies/output1.ts 第二步将output1.ts和output2.ts合...
ffmpeg 绝对有用的音频和视频的截取与合并命令
07-22
ffmpeg虽然可以将图片转换成视频并且添加背景音乐，但是背景音乐无法实现轮播，这里的命令可以先将音频先合并，再截取对应时间长度的音频，从而可以实现视频对应长度的背景音乐。
音视频：19.FFmpeg-视频加背景音乐、H.264协议
东方升起代码的博客
11-15 426
FFmpeg-视频加背景音乐、H.264协议1.实现视频加背景音乐2.详解H.264协议4.获取 MediaCodec 的 sps 和 pps 具体代码请看：NDKPractice项目的ffmpeg88livepush 1.实现视频加背景音乐 private MediaInfoListener mMediaInfoListener = new MediaInfoListener() { private long mAudioPts = 0; private int
java操作ffmpeg为视频添加背景音乐
风清云淡的博客
10-16 3437
最近学习仿抖音微信小程序遇到一个坑，视频中使用以下语句为视频添加背景音乐 ffmpeg.exe -i input.mp4 -i 音乐.mp3 -t 7 -y 新视频.mp4 ，然而我怎么尝试都不行，上百度查询也基本都是安卓如何使用ffmpeg为视频添加背景音乐，在我不断的尝试下尝试下终于找到了解决方法 第一步：先将视频中原本的背景声音去掉，语句如下： ffmpeg.exe -i inp...
ffmpeg给视频添加背景音乐
swordsmanye的博客
12-13 8068
In the end, it’s not the years in your life that count. It’s the life in your years. 最终，重要的不是活了多少年，而是这些年你怎么活。 --林肯 点到这里了相信你已经下载好了ffmpeg，对这个开源软件的介绍我也就不过多的赘述了，如果没有下载好的小伙伴们可以到官网去进行下载，下载地址：https://www....
使用FFmpeg添加、删除、替换和提取视频中的音频
LiveVideoStack
04-06 5305
FFmpeg是一个超级强大的工具，它可以在视频文件中添加、删除、提取或者替换音频。如果你的电脑上已经安装了FFmpeg，那么你就拥有了可以给电影添加或删除音频的工具！我们一起来看看FFmpeg是如何做到的。
FFmpeg - 朋友圈录制视频添加背景音乐
z240336124的专栏
07-15 675
前几天有同学问了个问题：辉哥，我们录制视频怎么添加背景音乐？就在今天群里也有哥们在问：Android 上传的视频 iOS 没法播放，我怎么转换格式呢？令我很惊讶的是大家似乎不会 FFmpeg 也没有音视频基础，但大家又在做一些关于音视频的功能。搞得我们好像三言两语施点法，就能帮大家解决问题似的。因此打算写下此篇文章，希望能帮到有需要的同学。 视频录制涉及到知识点还是挺多的，但如果大家不去细究原理...
如何给一小段视频添加音乐
weixin_33704591的博客
01-28 865
最近很多人应该都在追知否知否，小编作为一个只爱看偶像剧和宫廷剧的代表，最后也被这剧吸引了，相较很多电视剧，它的时代背景有些不同，里面的大娘子可谓是整部剧的笑点，当我们看到搞笑的片段是不是都有想录制截取下来的冲动，如果再配上魔性的音乐，足够可一阵子的了，那截取的视频怎么自定义添加音乐呢？如何给一小段视频添加音乐呢？今天一起来看一看吧！1、首先...
ffmpeg 为视频添加背景音乐---单音频轨道stream
qq_15255121的专栏
05-11 1752
我们知道多媒体文件是由多个stream组成，每个stream对应不同的内容。比如视频，音频，字幕。 如果要用A视频的图像，B视频的音乐，生成C视频。原理就是提取出A视频的视频流数据，B视频的的音频流数据，写入C视频的视频流和音频流中。 流程图如下 #include <stdlib.h> #include <libavutil/log.h> #include <libavutil/timestamp.h> #include <libavformat/avf
ffmpeg实现多图片与音频合成视频并额外添加bgm
qq_43601009的博客
12-25 2789
ffmpeg实现多张图片与音频合成视频，并额外添加bgm
给文件里所有的视频添加背景音乐
最新发布
10-04
给文件夹中的所有视频添加背景音乐，你可以借助像FFmpeg这样的开源软件工具。以下是基本的步骤： 1. **环境准备**：确保已经安装了FFmpeg，可以从其官方网站下载适合你操作系统版本的二进制包。 2. **指定文件夹**：确定包含视频文件的文件夹路径以及你想要使用的音乐文件路径。 3. **编写命令**：使用for循环来遍历文件夹中的每个视频文件。示例命令可能类似于这样： ```bash for video_file in /path/to/videos/*.mp4; do ffmpeg -i "${video_file}" -i /path/to/music/music.mp3 -filter_complex "[0:v][1:a]concat=n=2[out]" -map "[out]" -c:a copy "${video_file%.*}_with_music.mp4" done ``` 这里的`/path/to/videos`替换为视频文件的实际位置，`music.mp3`是音乐文件名，`${video_file%.*}_with_music.mp4`是输出新视频的文件名。 4. **执行命令**：在命令行窗口或终端中运行上述命令。 5. **等待完成**：这个过程可能会花费一些时间，因为FFmpeg会逐个处理每个视频文件。 6. **验证结果**：完成后，新视频文件将在原视频文件夹中，名称已更改并在末尾添加 `_with_music`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值