虚幻引擎实时音频采集

Part1前言

虚幻引擎其实对实时音频的采集支持得非常好。不过由于对音频概念的学习，还是花了一些时间进行研究。本文主要介绍如何基于虚幻引擎采集实时麦克风的音频数据。

Part2音频采样率

在虚幻引擎中，我没有找到动态修改音频采样率的方法。下面的方法设置是不行的，不知道有没有哪位高手可以指点一下。单双通道可以自己进行处理。针对双通道转单通道，可以尝试如下思路。单通道：在单通道PCM数据中，音频样本按时间顺序连续排列。数据流看起来像这样：S1, S2, S3, S4, ...，其中每个S代表一个样本。
双通道：在双通道PCM数据中，通常使用交错排列方式。这意味着左右声道的样本交替出现。数据流看起来像这样：L1, R1, L2, R2, L3, R3, ...，其中L和R分别代表左声道和右声道的样本。
将双通道转成单通道可以尝试如下方案：
单声道样本 = (左声道样本 + 右声道样本) / 2

Part3音频编码字节序

PCM数据可以以大端字节序（Big Endian）或小端字节序（Little Endian）存储
WAV文件通常使用小端字节序
另外 Windows系统使用的是小端字节序（Little Endian）。在小端字节序中，多字节值的低位字节存储在内存中的低地址处，而高位字节则存储在高地址处。
例如，在小端系统中，一个16位整数0x1234将以34 12的形式存储在内存中（假设内存地址从左到右增加）：0x34是低位字节，存储在较低的地址，而0x12是高位字节，存储在较高的地址。
所以在虚幻音频当中我就默认小端字节序了。

Part4音频数据保存

在虚幻引擎中使用FFileHelper类写文件时，如果目标文件已经存在，那么默认行为是覆盖该文件。这意味着原始文件的内容将被新内容完全替换。如果你需要根据文件是否存在来采取不同的行动，可以在写文件之前先检查文件是否存在。

#include "HAL/PlatformFilemanager.h"

void AppendOrCreateFile(const FString& FilePath, const TArray<uint8>& Data)
{
    // 获取平台文件管理器的引用
    IPlatformFile& PlatformFile = FPlatformFileManager::Get().GetPlatformFile();

    // 检查文件是否存在
    if (PlatformFile.FileExists(*FilePath))
    {
        // 文件已存在，追加内容
        IFileHandle* FileHandle = PlatformFile.OpenWrite(*FilePath, true);
        if (FileHandle)
        {
            FileHandle->Write(Data.GetData(), Data.Num());
            delete FileHandle; // 关闭文件
        }
    }
    else
    {
        // 文件不存在，创建新文件并写入内容
        FFileHelper::SaveArrayToFile(Data, *FilePath);
    }
}

Part5音频数据采集

主要通过 UAudioCapture 对象进行采集，代码调用也非常简洁。创建一个UAudioCapture对象

m_AudioCapture = UAudioCaptureFunctionLibrary::CreateAudioCapture();

注册音频回调函数

m_AudioGeneratorHandle = m_AudioCapture->AddGeneratorDelegate(MyFunction);

启动音频采集

m_AudioCapture->StartCapturingAudio();

启动成功之后就可以获取到相关音频参数如采样率和通道

auto samplerate =  m_AudioCapture->GetSampleRate();
 auto channelnum = m_AudioCapture->GetNumChannels();

音频处理方面，在回调函数中，音频被设置在0-1之间，如果我们想保存为32bit的音频，可以自己等比例变换。

void ATestVoiceChatAudioCapture::OnAudioGenerate(const float* InAudio, int32 NumSamples)

这里我转成了32bit的pcm编码，转换如下

outAudio[i] = InAudio[i] * MAX_int32;

之后在保存为文件即可。有了实时音频采集的加持，我们可以做很多工作，比如语音识别，语音聊天等等。

Part6关于源码

请关注公众号g0415shenw 加入知识星球。
星球地址 https://t.zsxq.com/15EvfoA7n