微调Whisper模型，让你的语音技术走在前沿！

详细指南：如何为Whisper模型进行环境设置和微调

在本文中，我将详细介绍如何为Whisper模型搭建环境、准备数据集、进行微调，最后验证模型的性能。这是一个适合语音识别爱好者和专业开发者的全面指南。

1. 环境搭建

首先，需要创建一个专用的Python环境并安装必要的包和依赖项。

创建环境

使用Conda创建一个名为whisper的新环境，指定Python版本为3.10：

conda create -n whisper python=3.10 -y
source activate whisper

安装必要的库

接下来，安装PyTorch及相关库，确保你的系统支持CUDA，以便可以使用GPU加速训练过程：

conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=11.8 -c pytorch -c nvidia

下载微调文件

从GitHub克隆包含微调Whisper模型所需文件的仓库：

git clone https://github.com/yeyupiaoling/Whisper-Finetune.git

安装项目依赖

切换到项目目录并安装所需的Python包：

cd /root/autodl-tmp/Whisper-Finetune
python -m pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 数据集加载和处理

数据集的处理是模型训练的重要部分。我们需要导入、计算时长并生成适当的数据格式。

导入所有wav文件

首先，你需要将所有.wav格式的音频文件放置在一个文件夹中。

计算wav文件时长

使用以下Python代码计算每个文件的时长，并打印出来：

import os
import wave
import contextlib

def get_wav_duration(file_path):
    with contextlib.closing(wave.open(file_path, 'r')) as f:
        frames = f.getnframes()
        rate = f.getframerate()
        duration = frames / float(rate)
        return duration

def print_wav_durations(folder_path):
    for root, dirs, files in os.walk(folder_path):
        for file in files:
            if file.endswith('.wav'):
                file_path = os.path.join(root, file)
                duration = get_wav_duration(file_path)
                print(f"File: {file} - Duration: {duration:.2f} seconds")

folder_path = '/root/autodl-tmp/data'
print_wav_durations(folder_path)

生成一个jsonlines数据列表

每一行都是一个JSON格式的数据，这对于后续的模型训练非常关键。

3. 模型微调

微调模型是一个精确且需求高的过程，涉及到修改代码以适应特定的数据结构。

修改数据读取方式

在Whisper-Finetune/utils/reader.py中修改_load_data_list函数，确保它能够正确地从你的数据列表中读取音频数据、采样率和文本。

微调模型

使用以下命令启动微调过程，确保指定正确的数据路径和模型保存路径：

cd Whisper-Finetune
CUDA_VISIBLE_DEVICES=0 python finetune.py --train_data /root/autodl-tmp/data/data_list_lines.json --test_data /root/autodl-tmp/data/data_list_lines.json --base_model=/root/autodl-tmp/whisper-tiny --output_dir=output/

4. 模型合并

完成微调后，你需要合并模型，以便在实际应用中使用。

python merge_lora.py --lora_model=/root/autodl-tmp/Whisper-Finetune/output/whisper-tiny/checkpoint-3/ --output_dir=models/

5. 验证模型性能

最后，验证模型的性能，确保它能正确地转换语音到文本：

python infer.py --audio_path=/root/autodl-tmp/data/0.wav --model_path=models/whisper-tiny-finetune

通过上述步骤，你可以成功地为Whisper模型进行环境设置、数据处理、微调及验证。这些步骤详尽而全面，适合那些希望深入了解语音识别技术的开发者。