Android 高仿唱吧 咔拉ok 商业项目开源代码 K歌合成 伴奏录音合成MP3(音频五)

  • 音频混合:一段音频和另一段音频存在相同的区间,两者会有同时播放的区间。

 

情景一

假设A音频40秒,B音频20秒,B音频数据拼接到A音频后面,得到60秒的C音频文件。

这种情况最简单了,新建音频文件C,将A音频的PCM数据复制到C音频文件上,再将B音频的PCM数据复制到C音频文件上,然后为C音频写上wav文件头信息,得到可播放的WAV文件。

情景二

假设A音频40秒,B音频20秒,B音频数据插入到A音频10秒的地方,得到60秒的C音频文件。

这种情况稍微复杂点,新建音频文件C,将A音频前10秒的PCM数据复制到C音频文件上,再将B音频的PCM数据复制到C音频文件上,再将A音频后30秒的PCM数据复制到C音频文件上,最后为C音频写上wav文件头信息,得到可播放的WAV文件。

情景三

假设A音频40秒,B音频20秒,B音频5至15秒的数据插入到A音频10秒的地方,得到50秒的C音频文件。

这种情况更复杂,也是最常见的插入场景,裁剪B音频并插入到A音频的某个位置,这里涉及到B音频数据的裁剪,当然原理其实也是简单的,计算出B音频5秒和10秒对应的文件数据位置,然后复制这个区间的数据到C上,针对A文件的数据,也是同样道理。

情景四

A音频和B音频中多段数据相互拼接

这种情况,原理同上面一样,只要知道指定时间对应的数据是什么,就可以实现自由拼接了。

音频拼接的实现参考我的Github项目 AudioEdit,这里我就不贴具体代码了。

音频混合

音频混合是指一段音频和另一段音频合在一起,能够同时播放,比如最常见的人声录音和背景音乐的合成,可以得到一首人声歌曲。
音频混合的原理是

音频混合原理: 量化的语音信号的叠加等价于空气中声波的叠加。

也就是说将输入的每段音频的某个时间点的采样点数值进行相加,即可将声音信号加入到输出的音频中。

音频采样点数值的大小是(-32768,32767),对应short的最小值和最大值,音频采样点数据就是由一个个数值组成的的。如果单纯叠加,可能会造成相加后的值会大于32767,超出short的表示范围,也就是溢出,所以在音频混合上回采用一些算法进行处理。下面列举下简单的混合方式。

直接叠加法

A(A1,A2,A3,A4)和B(B1,B2,B3,B4)叠加后求平均值,得到C((A1+B1),(A2+B2),(A3+B3),(A4+B4))
这种情况,输出的音频中A和B音频数据都可以以相同声音大小播放,但是可能出现溢出的情况。假设A音频指定时间点的某段采样数据是(23,67,511,139,307),B音频对应该时间点的采样数据是(1101,300,47,600,22),那么两者直接叠加的话,得到的采样数据是(1124,367,558,739,329),这个短采样数据就是两者声音混合的数据了。

叠加后求平均值

A(A1,A2,A3,A4)和B(B1,B2,B3,B4)叠加后求平均值,得到C((A1+B1)/2,(A2+B2)/2,(A3+B3)/2,(A4+B4)/2)
这样可以避免出现溢出的情况,但是会出现两者声音会比之前单独的声音小了一半,比如人声和背景音乐混合,导致输出的音频中,人声小了一半,背景音乐也小了一半,这种情况可能就不是想要的效果,特别是多段音频混合的情况。

权值叠加法

A(A1,A2,A3,A4)和B(B1,B2,B3,B4)权值叠加,A权值为x,B权值为y,得到C((A1 * x+B1 * y),(A2 * x+B2 * y),(A3 * x+B3 * y),(A4 * x+B4 * y))
这样可以更方便条件A和B的音量的大小,比如A的权值为1.2,B的权值为0.8,那么A的声音相对提高了,B的声音相对减弱了。严格来说,直接叠加法和叠加求平均值法都属于该类型。

此外还有各种更复杂的混合算法,如动态权值法,A和B的权值会根据当前时刻采样点数值的大小进行动态变化,得到一个动态增益和衰减的混合方式。

下面是直接叠加法的实现,需要注意short值要按大端存储的方式计算,存储时按大端方式存储。

  /**
     * 叠加合成器
     * @author Darcy
     */
    private static class AddAudioMixer extends MultiAudioMixer{

        @Override
        public byte[] mixRawAudioBytes(byte[][] bMulRoadAudioes) {
            
            if (bMulRoadAudioes == null || bMulRoadAudioes.length == 0)
                return null;

            byte[] realMixAudio = bMulRoadAudioes[0];
            
            if(bMulRoadAudioes.length == 1)
                return realMixAudio;
            
            for(int rw = 0 ; rw < bMulRoadAudioes.length ; ++rw){
                if(bMulRoadAudioes[rw].length != realMixAudio.length){
                    Log.e("app", "column of the road of audio + " + rw +" is diffrent.");
                    return null;
                }
            }

            //row 代表参与合成的音频数量
            //column 代表一段音频的采样点数,这里所有参与合成的音频的采样点数都是相同的
            int row = bMulRoadAudioes.length;
            int coloum = realMixAudio.length / 2;
            short[][] sMulRoadAudioes = new short[row][coloum];

            //PCM音频16位的存储是大端存储方式,即低位在前,高位在后,例如(X1Y1, X2Y2, X3Y3)数据,它代表的采样点数值就是((Y1 * 256 + X1), (Y2 * 256 + X2), (Y3 * 256 + X3))
            for (int r = 0; r < row; ++r) {
                for (int c = 0; c < coloum; ++c) {
                    sMulRoadAudioes[r][c] = (short) ((bMulRoadAudioes[r][c * 2] & 0xff) | (bMulRoadAudioes[r][c * 2 + 1] & 0xff) << 8);
                }
            }

            short[] sMixAudio = new short[coloum];
            int mixVal;
            int sr = 0;
            for (int sc = 0; sc < coloum; ++sc) {
                mixVal = 0;
                sr = 0;
                //这里采取累加法
                for (; sr < row; ++sr) {
                    mixVal += sMulRoadAudioes[sr][sc];
                }
                //最终值不能大于short最大值,因此可能出现溢出
                sMixAudio[sc] = (short) (mixVal);
            }

            //short值转为大端存储的双字节序列
            for (sr = 0; sr < coloum; ++sr) {
                realMixAudio[sr * 2] = (byte) (sMixAudio[sr] & 0x00FF);
                realMixAudio[sr * 2 + 1] = (byte) ((sMixAudio[sr] & 0xFF00) >> 8);
            }

            return realMixAudio;
        }
        
  1. 需要确保A音频和B音频的采样位数一致。例如A音频是16位采样位数,B音频是8位采样位数,那么这时是不能直接拼接的,需要转换成相同的采样位数,才能做后续操作。
  2. 需要确保A音频和B音频的采样率一致。这个在录音和歌曲拼接时要特别注意,假如录音的音频频率是16000,歌曲的音频是44100,那么两者也是不能直接拼接的,需要转换成相同的采样率,转换采样率可以使用resample库。
  3. 需要确保A音频和B音频的声道数一致。当然这个并不是指单声道和双声道的音频不能合成了,事实上录音音频通常是单声道的,而歌曲通常是双声道的。单声道和双声道音频合成,一般是按双声道为基准,需要将单声道音频转换成双声道音频,转换原理也简单,将单声道的采样点数据多复制一份,比如将单声道的ABCD数据转换成双声道的AABBCCDD数据。

那么我们可能会有疑问,如果A音频和B音频的采样率位数,采样率,声道数不一样的话,合成后是有效的音频文件吗?这个其实是有效的,同样可以播放,但是会造成合成后的音频不同部分的音频播放速度不一样,例如单声道的A和双声道的B拼接,会造成A部分的播放速度比B的播放速度快一倍,而B的播放速度是正常的。

 

原理:

    网上查了好多资料,看了某大神的例子,选出了这个最简单的方式,amr格式的录音文件的合并,只需要把每个录音文件的二进制数据的前6位数据给删除,然后一起保存起来就实现了无缝拼接。比如录了两个文件,a.amr和b.amr,只需要把b.amr的头6位数据删除,然后把两个文件的字节流合并成一个文件,就实现了无缝拼接。


 

录音完成后,调用开源工具(Mad)实现PCM合成输出到MP3文件.

主要调用的合成方法:

}

注意事项

音频的拼接和混音,有一些是需要注意和处理的。

 

 /***

 * 方法描述:本地方法调用JNI合并mp3PCM与sourcePCM

 * @param sourcePCM

 * @param mp3PCM

 * @param mixPCM

 * @return

 */

    public static native int mix2PCMToPCM(String sourcePCM, String mp3PCM, String mixPCM);

  

    String recordPCMPath = SongUtil.getRecordSingPCMPath(songId); //录音生成的PCM文件

                        String accompanyPCMPath = SongUtil.getAccompanySongPCMPath(songId); //伴奏解码生成的PCM文件

                        String mixPCMPath = SongUtil.getMixSingPCMPath(songId); //合成后的PCM文件

                        String mixMP3Path = SongUtil.getMixSingMp3Path(songId); //合成后的MP3文件

                        // 混音

                        int code = SongEncodeUtil.mix2PCMToPCM(recordPCMPath, accompanyPCMPath, mixPCMPath);

                        if (code == 0) {

                            // 转换混合后音频格式 TO mp3

                            int i = SimpleLame.convert(mixPCMPath, mixMP3Path, m_in_buf_size);

                            Log.i(SingSingleActivity.this.getClass().getName(), "转换" + i + "混音完成");

                            saveMp3File(mixMP3Path);

 

--------------------- 

 

https://www.jianshu.com/p/6c05968d256b

 

demo下载地址:

https://download.csdn.net/download/h3c4lenovo/4684013

 

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值