使用OpenAI Whisper的说话人识别管道

使用OpenAI Whisper的说话人识别管道

whisper-diarizationAutomatic Speech Recognition with Speaker Diarization based on OpenAI Whisper项目地址:https://gitcode.com/gh_mirrors/wh/whisper-diarization

项目简介

Speaker Diarization Using OpenAI Whisper是一个基于OpenAI Whisper的强大工具，用于识别音频文件中不同说话人的片段。通过整合Whisper自动语音识别（ASR）技术和Voice Activity Detection（VAD）、Speaker Embedding，本项目能够精确地定位每句话的说话者，即使在多说话人环境中也能有出色表现。感谢@m-bain提供的批处理Whisper推理和@mu4farooqi的标点符号对齐算法，使得这个管道功能更加完善。

 如果这个项目对你有所帮助，请在GitHub上点赞支持！

技术剖析

该管道首先从音频中提取人声以提高说话人嵌入的准确性，然后使用Whisper进行转录。接着，使用WhisperX进行时间戳校正和平移对齐，减少因时间差导致的错误。随后，MarbleNet实现VAD并排除静音部分，TitaNet则用来提取说话人特征，最后结合时间戳确定每个词的说话者，并利用标点模型对时间进行微调，确保准确度。

应用场景

无论是在会议记录、播客分析、电话对话分割或是多角色的音频内容整理等场合，Speaker Diarization Using OpenAI Whisper都能大显身手。它能帮助你快速高效地将多说话人音频拆分成独立的部分，便于后续的分析和处理。

项目特点

• 集成先进技术：结合Whisper的ASR、VAD以及Speaker Embedding技术，提供全面的说话人识别解决方案。
• 易用性：只需一行命令即可对音频文件进行处理，且提供多个可选参数以适应不同的需求。
• 并行处理：对于资源充足的系统，提供并行处理选项，提高了处理效率。
• 语言选择：支持手动指定语言，提升在语言检测失败情况下的性能。

安装与使用

首先确保安装了PyTorch、FFmpeg和Cython，之后按照以下步骤安装依赖：

pip install cython torch

或

pip install torch
sudo apt update && sudo apt install cython3

安装FFmpeg：

# Ubuntu 或 Debian
sudo apt update && sudo apt install ffmpeg

# Arch Linux
sudo pacman -S ffmpeg

# MacOS（Homebrew）
brew install ffmpeg

# Windows（Chocolatey）
choco install ffmpeg

# Windows（Scoop）
scoop install ffmpeg

最后，运行pip install -r requirements.txt来安装剩余的依赖。要处理音频文件，只需执行：

python diarize.py -a AUDIO_FILE_NAME

或者如果你的系统有足够的GPU内存，可以尝试使用diarize_parallel.py进行并行处理。

未来计划

当前项目正在不断优化中，未来可能的改进包括处理重叠说话人的策略，以及增加最大句子长度限制等功能。

致谢

特别感谢@adamjonas对此项目的支持，以及OpenAI的Whisper、Faster Whisper、Nvidia NeMo和Facebook的Demucs的优秀工作，这些都为该项目的发展奠定了坚实基础。

如有任何问题或建议，欢迎提交issue，我们非常期待你的反馈！

whisper-diarizationAutomatic Speech Recognition with Speaker Diarization based on OpenAI Whisper项目地址:https://gitcode.com/gh_mirrors/wh/whisper-diarization