【.NET】使用Whisper.net实现录音转文本

前言：上一篇文章写了关于如何录音，这篇咱们做个升级，让录音内容转为文本。废话不多说，直接上手，以下正文：

1、新建一个控制台项目，引用CommandLineParser和Whisper.net

2、新建Options实体类，用于提供使用模型的一些参数

public class Options
    {
        /// <summary>
        /// 指令类型
        /// </summary>
        [Option('t', "command", Required = false, HelpText = "运行指令 (lang-detect, transcribe 或 translate)", Default = "transcribe")]
        public string Command { get; set; } = "transcribe";

        /// <summary>
        /// 音频文件，默认要存放bin目录下
        /// </summary>
        [Option('f', "file", Required = false, HelpText = "需要处理的音频文件", Default = "test.mp3")]
        public string FileName { get; set; }

        /// <summary>
        /// 语言，默认自动选择
        /// </summary>
        [Option('l', "lang", Required = false, HelpText = "语言", Default = "auto")]
        public string Language { get; set; } = "chinese";

        /// <summary>
        /// 模型文件，默认也存在在bin同级目录下
        /// </summary>
        [Option('m', "modelFile", Required = false, HelpText = "使用的模型的文件名", Default = "ggml-base.bin")]
        public string ModelName { get; set; } = "ggml-base.bin";

        /// <summary>
        /// 模型类型
        /// </summary>
        [Option('g', "ggml", Required = false, HelpText = "根据模型类型，验证是否存在模型文件，不存在则下载", Default = GgmlType.Base)]
        public GgmlType ModelType { get; set; }= GgmlType.Base;
    }

3、ggml模型类别枚举参考：

public enum GgmlType
{
        Tiny,
        TinyEn,
        Base,
        BaseEn,
        Small,
        SmallEn,
        Medium,
        MediumEn,
        LargeV1,
        Large
    }

它们会对应在线的模型，会根据需要自动下载。在线模型文件参考：

模型地址：

https://huggingface.co/sandrohanea/whisper.net/tree/main/classic

4、验证模型文件不存在，则下载​​​​​​​

if (!File.Exists(opt.ModelName))
            {
                Console.WriteLine($"准备下载模型：{opt.ModelName}");
                using (var modelStream = await WhisperGgmlDownloader.GetGgmlModelAsync(opt.ModelType))
                {
                    using (var fileWriter = File.OpenWrite(opt.ModelName))
                    {
                        await modelStream.CopyToAsync(fileWriter);
                    }
                }
            }

上面代码下载没进度提示，稍微改造下：​​​​​​​

var bytesRead = 0;
var buffer = new byte[8192]; // 8KB 的缓冲区
var lastUpdateTime = DateTime.Now; // 记录上次更新的时间

int bytesJustRead;
while ((bytesJustRead = await modelStream.ReadAsync(buffer, 0, buffer.Length)) > 0)
{
    await fileWriter.WriteAsync(buffer, 0, bytesJustRead);
    bytesRead += bytesJustRead;

    // 检查是否已经过去了1秒
    if ((DateTime.Now - lastUpdateTime).TotalSeconds >= 1)
    {
        // 将已下载的字节数转换为MB
        double downloadedMB = bytesRead / 1024.0 / 1024.0;

        // 将光标移回到上一行的开始
        Console.SetCursorPosition(0, Console.CursorTop - 1);

        // 使用 \r 来覆盖当前行并显示已下载的MB
        Console.WriteLine($"已下载: {downloadedMB:0.00} MB ({downloadedMB / 1024.0} GB)\r");

        // 更新上次更新的时间
        lastUpdateTime = DateTime.Now;
    }
}

5、新建音频转文本的处理函数，具体内容看代码和有关注释：​​​​​​​

static async Task Audio2Text(Options opt)
        {
            // 从给定的模型名称路径创建一个 WhisperFactory 实例
            using var factory = WhisperFactory.FromPath(opt.ModelName);

            var builder = factory.CreateBuilder()
                .WithLanguage(opt.Language);

            // 如果值为 "translate"，则在构建器中启用翻译功能
            if (opt.Command == "translate")
            {
                builder.WithTranslate();
            }

            using var processor = builder.Build();

            // 打开一个文件流来读取由 opt.FileName 指定的音频文件
            using var fileStream = File.OpenRead(opt.FileName);

            // 使用处理器异步处理音频文件。对于处理器返回的每个段（segment），它将段的开始时间、结束时间和文本打印到控制台。
            await foreach (var segment in processor.ProcessAsync(fileStream, CancellationToken.None))
            {
                Console.WriteLine($"{segment.Start} ==> {segment.End} : {segment.Text}");
            }
        }

6、创建一个检测语言的方法：​​​​​​​

void LanguageIdentification(Options opt)
        {
            // 使用 File.ReadAllBytes 方法将模型文件读取到内存中。
            var bufferedModel = File.ReadAllBytes(opt.ModelName);

            // 多个任务可以使用同一个工厂来创建处理器
            using var factory = WhisperFactory.FromBuffer(bufferedModel);

            // 使用工厂创建一个新的构建器，并设置其语言
            var builder = factory.CreateBuilder()
               .WithLanguage(opt.Language);

            using var processor = builder.Build();

            // 打开一个文件流来读取由 opt.FileName 指定的音频文件
            using var fileStream = File.OpenRead(opt.FileName);

            // 使用 WaveParser 类来解析音频文件
            var wave = new WaveParser(fileStream);

            // 使用 WaveParser 的 GetAvgSamples 方法获取音频文件的平均样本
            var samples = wave.GetAvgSamples();

            // 使用处理器的 DetectLanguage 方法检测音频样本中的语言
            var language = processor.DetectLanguage(samples, speedUp: true);
            Console.WriteLine("Language is " + language);
        }

processor.DetectLanguage(samples, speedUp: true) 的speedUp说明：

当speedUp为true时，使用whisper_pcm_to_mel_phase_vocoder_with_state方法进行处理。这个方法可能使用了phase vocoder技术，这是一种在不改变音高的情况下改变音频速度的技术。

当speedUp为false时，使用whisper_pcm_to_mel_with_state方法进行处理。这个方法可能是一个更传统或基本的方法来从PCM数据转换到Mel频谱。

 引入地址