鸿蒙5.0【OpenHarmony音频模块】实现录音变速功能

简介

OpenAtom OpenHarmony(以下简称“OpenHarmony”)是由开放原子开源基金会孵化及运营的开源项目,是面向全场景、全连接、全智能时代的智能物联网操作系统。

多媒体子系统是OpenHarmony系统中的核心子系统,为系统提供了相机、音频和视频等多媒体功能。多媒体子系统的音频模块、音频录音功能可以提供两套接口,一是由ohos.multimedia.media提供的AudioRecorder接口,能够直接设置录音保存的文件路径,在录制结束以后自动生成对应的录音文件,代码编写比较简单;二是由ohos.multimedia.audio提供的AudioCapturer接口,能够获得录音过程中的PCM数据,并对数据进行处理。由于Capturer接口对于原始数据的处理更加灵活,今天就和大家介绍通过Capturer接口实现录音变速的功能的方法。

效果展示

通过Capturer接口实现音频的录制,在录制过程中对PCM数据进行重采样实现声音的快放和慢放。

首先设置录音加速或者录音减速,设置完成以后点击“录音开始”按钮进行录音,点击“录音结束”按钮停止录音,再通过点击“播放开始”对录音的音频进行播放,播放的音频是设置后的加速或者减速效果。

代码已经上传至SIG仓库,链接如下:

目录结构

1

调用流程

1.Start的框架层调用流程

2

  1. Read的框架层调用流程

3

源码分析

1.首先看一下页面的布局,主要分为四个模块:

(1)设置录音加速

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;">
    <text style="font-size: 30fp;">设置录音加速:</text>
</div>


<div class="container">
    <button class="first" type="capsule" onclick="set_5_4">1.25倍速</button>
    <button class="first" type="capsule" onclick="set_6_4">1.5倍速</button>
</div>


<div class="container">
    <button class="first" type="capsule" onclick="set_7_4">1.75倍速</button>
    <button class="first" type="capsule" onclick="set_8_4">2倍速</button>
</div>

(2)设置录音减速

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">
    <text style="font-size: 30fp;">设置录音减速:</text>
</div>


<div class="container">
    <button class="first" type="capsule" onclick="set_3_4">0.75倍速</button>
    <button class="first" type="capsule" onclick="set_2_4">0.5倍速</button>
</div>

(3)录音

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">
    <text style="font-size: 30fp;">录音:</text>
</div>


<div class="container">
    <button class="first" type="capsule" onclick="record">录音开始</button>
    <button class="first" type="capsule" onclick="recordstop">录音结束</button>
</div>

(4)播放

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">
    <text style="font-size: 30fp;">播放:</text>
</div>


<div class="container">
    <button class="first" type="capsule" onclick="play">播放开始</button>
    <button class="first" type="capsule" onclick="playstop">播放结束</button>
</div>


<div class="container">
    <video if="{{ display }}" id="{{ videoId }}"
           class="video"
           src="{{url}}"
           autoplay="{{ autoplay }}"
           controls="{{ controlShow }}"
           muted="false"
           onseeked="seeked"
           onprepared="prepared"
            >
    </video>
</div>

2.逻辑代码在JS中:

(1)首先通过AudioCapturer接口获取到PCM数据,再通过调用AudioCapturer的start接口来启动录音流程。

globalThis.capturer.start().then(function () {
    console.log("gyf start");
    globalThis.capturer.getBufferSize((err, bufferSize) => {
        if (err) {
            console.error('gyf getBufferSize error');
        } else {
            console.log("gyf bufferSize = " + bufferSize);
            globalThis.getBuf(bufferSize);
        }
    });
});

(2)启动成功以后,getBuf会调用到getData函数,getData函数通过AudioCapturer的read方法来读取数据,成功读取到数据以后,通过handleBuffer函数对数据进行处理。handleBuffer函数的参数arrayBuffer就是通过read方法读取出来的pcm数据,在handleBuffer中对数据进行了快速播放或者慢速播放的处理。

//循环调用read,进行数据的读取
handleBuffer(arrayBuffer) {
    console.log("gyf handleBuffer");


    let result = new Uint8Array(arrayBuffer);
    console.log("gyf handleBuffer ================== " + result);


    let outData = this.test(result, up, down);


    fileio.writeSync(globalThis.fd, outData.buffer);


    globalThis.capturer.read(globalThis.bufSize, true).then(this.handleBuffer);
},


getData(bufSize) {
    console.log("gyf getData");
    globalThis.capturer.read(bufSize, true).then(this.handleBuffer);
},


getBuf(bufSize) {
    console.log("gyf getBuf");
    this.getData(bufSize);
},

(3)快速播放或者慢速播放是通过up和down两个方法的组合来实现的,down方法的原理是对PCM数据进行插值处理,在相邻两点间插入down个采样点,up方法的原理是间隔抽取,间隔up个点进行抽取采样。

up(data, up) {
    if (1 == up) {
        return data;
    }
    let length = data.byteLength;
    let upLength = Math.round(length / up);
    var upData = new Uint8Array(upLength);
    for (var i = 0, j = 0; i < length; ) {
        if (j >= upLength) {
            break;
        }
        upData[j] = data[i];
        i += up;
        j++;
    }
    return upData;
},


down(data, down) {
    if (1 == down) {
        return data;
    }


    let length = data.byteLength;
    let downLength = Math.round(length * down);
    var downData = new Uint8Array(downLength);
    for (var i = 0, j = 0; i < length - 1; ) {
        for (var k = 0; k < down; k++) {
            downData[j] = data[i];
            j++;
        }
        i++;
    }
    return downData;
},

(4)将down和up的方法组合调用,来实现1.25倍、1.5倍、1.75倍、2倍、0.75倍、0.5倍的速度播放。

test(data, up, down) {
    let downData = this.down(data, down);
    let upData = this.up(downData, up);
    return upData;
},

(5)播放wav格式的音频文件,采集获取PCM数据,需要我们根据设置的参数对pcm数据进行添加wav的头部信息,通过创建AudioCapturer实例的时候设置采集音频的参数,如采样率、通道数、采样格式等。

//音频采集初始化
var audioStreamInfo = {
    samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_8000,
    channels: audio.AudioChannel.CHANNEL_1,
    sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_U8,
    encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
}


var audioCapturerInfo = {
    source: audio.SourceType.SOURCE_TYPE_MIC,
    capturerFlags: 1
}


var audioCapturerOptions = {
    streamInfo: audioStreamInfo,
    capturerInfo: audioCapturerInfo
}
let that = this;


audio.createAudioCapturer(audioCapturerOptions,(err, data) => {
    if (err) {
        console.error(`gyf AudioCapturer Created : Error: ${err.message}`);
    }
    else {
        console.info('gyf AudioCapturer Created : Success : SUCCESS');
        that.capturer = data;
    }
});

(6)根据这些参数设置的信息需要对wav文件写入文件头,头信息一般包含44个字节,里面需要设置三个chunk的信息(RIFF chunk、fmt chunk、data chunk),具体的信息可以查看官网的介绍WAV文件格式介绍:

//假设数据为1000秒钟的时间(8000 * 1000)
encodeWAV() {
    var dataLen = 8000000;
    var sampleRate = 8000;
    var sampleBits = 8;
    var buffer = new ArrayBuffer(44);
    var data = new DataView(buffer);


    var channelCount = 1;   // 单声道
    var offset = 0;


    // 资源交换文件标识符
    this.writeString(data, offset, 'RIFF'); offset += 4;
    // 下个地址开始到文件尾总字节数,即文件大小-8
    data.setUint32(offset, 36 + dataLen, true); offset += 4;
    // WAV文件标志
    this.writeString(data, offset, 'WAVE'); offset += 4;
    // 波形格式标志
    this.writeString(data, offset, 'fmt '); offset += 4;
    // 过滤字节,一般为 0x10 = 16
    data.setUint32(offset, 16, true); offset += 4;
    // 格式类别 (PCM形式采样数据)
    data.setUint16(offset, 1, true); offset += 2;
    // 通道数
    data.setUint16(offset, channelCount, true); offset += 2;
    // 采样率,每秒样本数,表示每个通道的播放速度
    data.setUint32(offset, sampleRate, true); offset += 4;
    // 波形数据传输率 (每秒平均字节数) 单声道×每秒数据位数×每样本数据位/8
    data.setUint32(offset, channelCount * sampleRate * (sampleBits / 8), true); offset += 4;
    // 快数据调整数 采样一次占用字节数 单声道×每样本的数据位数/8
    data.setUint16(offset, channelCount * (sampleBits / 8), true); offset += 2;
    // 每样本数据位数
    data.setUint16(offset, sampleBits, true); offset += 2;
    // 数据标识符
    this.writeString(data, offset, 'data'); offset += 4;
    // 采样数据总数,即数据总大小-44
    data.setUint32(offset, dataLen, true); offset += 4;


    return data;
},

总结

本文介绍了通过使用OpenHarmony音频模块的AudioCapturer接口实现录音功能。AudioCapturer接口对于原始数据的处理非常灵活,能够对采集的数据进行插值/抽值的重采样处理,并将处理后的音频处理保存至本地文件。由于本地文件使用的是WAV格式,故在写数据前需要对WAV文件进行头部信息的添加,这些信息可以根据创建AudioCapturer时设置的参数来进行设置,以此保证头部信息的准确性,最后再通过应用层的video组件对音频数据进行播放。


最后呢,很多开发朋友不知道需要学习那些鸿蒙技术?鸿蒙开发岗位需要掌握那些核心技术点?为此鸿蒙的开发学习必须要系统性的进行。

而网上有关鸿蒙的开发资料非常的少,假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料,少走很多弯路,节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了(ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等)鸿蒙(Harmony NEXT)技术知识点

如果你是一名Android、Java、前端等等开发人员,想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。

​​​​1

高清完整版请点击《鸿蒙NEXT星河版开发学习文档》

针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说,我们直接看详细资料鸿蒙(OpenHarmony )学习手册(共计1236页)与鸿蒙(OpenHarmony )开发入门教学视频,帮助大家在技术的道路上更进一步。

《鸿蒙 (OpenHarmony)开发学习视频》

《鸿蒙生态应用开发V2.0白皮书》

《鸿蒙 (OpenHarmony)开发基础到实战手册》

《鸿蒙开发基础》

《鸿蒙开发进阶》

《鸿蒙开发实战》
在这里插入图片描述

获取这份鸿蒙星河版学习资料,请点击→《鸿蒙NEXT星河版开发学习文档》

总结

鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程,从而开设鸿蒙课程;企业纷纷跟进启动了鸿蒙研发。

并且鸿蒙是完全具备无与伦比的机遇和潜力的;预计到年底将有 5,000 款的应用完成原生鸿蒙开发,未来将会支持 50 万款的应用。那么这么多的应用需要开发,也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长,学习鸿蒙势在必行!

  • 24
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值