SenseVoice 语音识别微调技术方案

一、项目背景

        随着人工智能技术飞速发展，语音识别技术已成为人机交互的重要接口之一。在语音输入法、语音导航、智能会议纪要等多个应用场景中，高效的语音识别能力对于提升用户体验至关重要。本项目旨在通过SenseVoice产品，实现针对中文通用场景下的高精度语音识别自训练，以满足特定业务场景下的定制化需求。

二、SenseVoice介绍

        SenseVoice是由FunAudioLLM团队开发的音频基础模型，SenseVoice作为一款专注于高精度多语言语音识别的模型，其独特之处在于其广泛的语言覆盖、强大的情感辨识能力以及高效的推理性能。该模型基于超过40万小时的多样化语音数据训练而成，能够支持超过50种语言的识别，展现出卓越的跨语言识别能力。与市场上其他主流模型相比，SenseVoice在识别精度上实现了显著提升，特别是在复杂场景下的表现尤为出色。此外，SenseVoice还提供了便捷的微调脚本与策略，帮助用户根据特定业务场景进行模型定制与优化。

三、方案选型

        最开始准备使用的是百度推出的PaddleSpeech产品来完成语音识别任务，经过尝试发现该模型不适用，主要有以下3方面的原因：

1. 模型版本比较旧，在服务器上部署存在一些依赖冲突问题需要解决，这个步骤很耗时。测试时使用的阿里云上的Ubantu服务器，这个问题是解决了。但如果部署到公司的服务器，之前的解决方案不一定行得通，可能需要重新探索；
2. 官方GitHub代码很长时间没有维护，文档里的步骤和实际使用存在出入，需要自己改造，根据文档教程自训练时源代码会报错，这些bug无法在官网以及网络上找到解决方案。
3. 使用PaddleSpeech训练时，要求的单样本时长不超过50s，只支持wav格式，这个限制不适用实际业务场景。经过以上原因分析，不采用PaddleSpeech，经过调研最终选SenseVoice产品。

四、模型选型

        SenseVoice支持多种预训练模型，和魔搭集成度比较好。一般默认的是使SenseVoiceSmall模型，但在本方案中没有采用这个模型，基于以下几个理由：

        1.SenseVoiceSmall支持富文本识别，包括情感识别和声音事件检测，所需要的数据集的格式也需要体现这两方面的内容。考虑到本项目只是基础的语音识别范畴，不需要额外的富文本识别;

        2.SenseVoiceSmall模型对于时长在几个小时的长音频文件的识别效果还有待验证。

 基于前面两点的考虑，最终我们选用Paraformer语音识别-中文-通用-16k-离线-larg