whisper.cpp 学习笔记

已于 2024-05-28 16:24:08 修改
阅读量979 收藏 11
点赞数 8
分类专栏： 机器学习 文章标签： whisper 学习 笔记
于 2024-05-27 18:35:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37749564/article/details/139245077
版权

whisper.cpp

whisper.cpp 学习笔记

whisper 介绍

whisper 是基于 OpenAI 的自动语音识别（ASR）模型。他可以识别包括英语、普通话等在内多国语言。

whisper 分为 whisper （python 版本）和 whisper.cpp（C/C++ 版本）。

python 版本的 whisper 可以直接通过 pip install whisper 安装；whisper.cpp 可以通过源码进行安装。

以下主要介绍 whisper.cpp，因为其识别速度要快于 python 版本的 whisper。

源码下载

  • 源码下载

网址：https://github.com/ggerganov/whisper.cpp

git clone https://github.com/ggerganov/whisper.cpp.git
  • 下载模型
bash ./models/download-ggml-model.sh base.en

源码编译

方法一

直接在 whisper.cpp 目录下执行 make 命令就可以编译

# build the main example
make

# transcribe an audio file
./main -f samples/jfk.wav

默认会生成 main bench 和 quantize 这三个命令：

  • main ：whisper 的命令
  • quantize ： 对 whisper 的模型进行量化处理
  • bench ：性能测试

注：

使用此方法生成的可执行文件会包含 whisper 的代码，即没有生成 whisper 的库文件

whisper 只能识别音频采样频率为 16000 Hz 的声音数据，数据格式为 float类型——如果是 wav 文件则内部会自动转成 float 格式

方法二

make build
cd build
cmake xxx	#xxx 为 cmake 传入的参数，例如 prefix 等等，单独的 cmake 不能生成 Makefile
make

使用这种方式会在 build 目录下生成 liwhisper.so liwhisper.so.1 和 liwhisper.so。1.5.5 库文件 —— 对应的头文件在 whisper.cpp 目录下 whisper.h 可以直接将这几个文件防盗 /usr/lib 和 /usr/include 下即可使用。

支持的模型

whisper 目前支持：tiny、base、small、medium 以及 large 模型，其中带 .en 的表示之支持英文。

通过 make xxx 可以直接下载模型，例如：

make small

各种模型的内存使用情况：

ModelDiskMem
tiny75 MiB~273 MB
base142 MiB~388 MB
small466 MiB~852 MB
medium1.5 GiB~2.1 GB
large2.9 GiB~3.9 GB

优化/加速

使用硬件加速

whipser 支持多种加速（详见 whisper.cpp 的 Readme）

  • OpenVINO
  • NVIDIA GPU
  • CLBlast
  • OpenBLAS
  • MKL
  • …

这里只介绍 MKL。

首先通过 Intel® oneAPI Math Kernel Library 下载 intel 的 oneapi 数学库；

该数学库是二进制安装的，在安装完后需要执行一个脚本用于产生命令和连接库位置的环境

source /opt/intel/oneapi/setvars.sh 
mkdir build
cd build
cmake -DWHISPER_MKL=ON ..
WHISPER_MKL=1 make -j

通过上步可以生成依赖 intel oneapi 的 whisper 动态库。这里为了能够开机使用 intel oneapi，可以将 source /opt/intel/oneapi/setvars.sh 命令放到 ~/.bashrc 配置文件中——要想所有用户都可以使用，可以在 /ect/profile.d 目录下建一个 intel oneapi 的脚本，这样在用户登陆时可以自动配置环境变量。

注：

如果使用 root 权限安装 intel oneapi 则该软件安装在 /opt 目录下，否则安装在用户的 home 目录下。

量化模型

编译生成的可执行文件中有 quantize 这个命令，该命令用来量化模型可以减少模型的体积和加快运行的速度。

usage: ./quantize model-f32.bin model-quant.bin type
  type = "q2_k" or 10
  type = "q3_k" or 11
  type = "q4_0" or 2
  type = "q4_1" or 3
  type = "q4_k" or 12
  type = "q5_0" or 8
  type = "q5_1" or 9
  type = "q5_k" or 13
  type = "q6_k" or 14
  type = "q8_0" or 7

例如量化前 ggml-medium.bin 的大小为 1.5 G，采用 q4_k 量化后大小为 424 M。

执行速度：

量化前

time whisper --language chinese --model models/ggml-medium.bin output.wav

system_info: n_threads = 4 / 8 | AVX = 1 | AVX2 = 1 | AVX512 = 0 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | METAL = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | CUDA = 0 | COREML = 0 | OPENVINO = 0

main: processing 'output.wav' (42624 samples, 2.7 sec), 4 threads, 1 processors, 5 beams + best of 5, lang = chinese, task = transcribe, timestamps = 1 ...


[00:00:00.000 --> 00:00:02.000]  你好 你好 你好

whisper_print_timings:     load time =   606.10 ms
whisper_print_timings:     fallbacks =   0 p /   0 h
whisper_print_timings:      mel time =     6.12 ms
whisper_print_timings:   sample time =    12.43 ms /    24 runs (    0.52 ms per run)
whisper_print_timings:   encode time =  9836.69 ms /     1 runs ( 9836.69 ms per run)
whisper_print_timings:   decode time =    69.17 ms /     2 runs (   34.59 ms per run)
whisper_print_timings:   batchd time =   364.41 ms /    20 runs (   18.22 ms per run)
whisper_print_timings:   prompt time =     0.00 ms /     1 runs (    0.00 ms per run)
whisper_print_timings:    total time = 10899.75 ms

real    0m11.000s
user    0m44.862s
sys     0m2.151s

量化后

time whisper --language chinese --model models/ggml-medium_q4_k.bin output.wav

system_info: n_threads = 4 / 8 | AVX = 1 | AVX2 = 1 | AVX512 = 0 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | METAL = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | CUDA = 0 | COREML = 0 | OPENVINO = 0

main: processing 'output.wav' (42624 samples, 2.7 sec), 4 threads, 1 processors, 5 beams + best of 5, lang = chinese, task = transcribe, timestamps = 1 ...


[00:00:00.000 --> 00:00:02.000]  你好 你好 你好

whisper_print_timings:     load time =   303.66 ms
whisper_print_timings:     fallbacks =   0 p /   0 h
whisper_print_timings:      mel time =     6.37 ms
whisper_print_timings:   sample time =    13.74 ms /    27 runs (    0.51 ms per run)
whisper_print_timings:   encode time =  8979.33 ms /     1 runs ( 8979.33 ms per run)
whisper_print_timings:   decode time =    34.54 ms /     2 runs (   17.27 ms per run)
whisper_print_timings:   batchd time =   289.84 ms /    23 runs (   12.60 ms per run)
whisper_print_timings:   prompt time =     0.00 ms /     1 runs (    0.00 ms per run)
whisper_print_timings:    total time =  9632.14 ms

real    0m9.702s
user    0m42.165s
sys     0m1.342s

从量化前后的执行速度来看，执行时间提升了1秒左右。

生成库文件

在前面我们介绍了使用 cmake & make 命令可以生成动态库。

使用 whispe.cpp 的 demo

在 example 目录下有各种使用的 demo ，通过在 whisper.cpp 目录下执行 make xxx (xxx 为 example 中演示 demo 的名字)，即可生成该 demo 的可执行文件。

通过分析各种 demo 文件可以发现，主要使用了 whisper 中的如下几个函数：

  • whisper_lang_id() 语言支持检测——这里要使用小写，如 chinese 而不能用 Chinese
  • whisper_context_default_params() 设置默认的上下文参数
  • whisper_init_from_file_with_params() 初始化上下文
  • whisper_is_multilingual() 检查上下文是否支持多国语言
  • whisper_full() 语音识别过程的函数
  • whisper_full_n_segments() 获取一共产生了多少段文字
  • whisper_full_get_segments_text() 获取识别到的一段文字
  • whisper_full_n_token() 一段识别中有多少个 tokern
  • whisper_full_get_token_id() 获取对应 id 的 token

以下是参考 example/main/main.cpp 改写的简单 cpp 文件。

#include "common.h"

#include "whisper.h"
#include "grammar-parser.h"

#include <cmath>
#include <fstream>
#include <cstdio>
#include <regex>
#include <string>
#include <thread>
#include <vector>
#include <cstring>

bool wav_read(std::string fname, std::vector<float>& pcmf32)
{
    std::vector<std::vector<float>> pcmf32s;

    if (!::read_wav(fname, pcmf32, pcmf32s, false)) {
        fprintf(stderr, "error: failed to read WAV file '%s'\n", fname.c_str());
        return false;
    }

    return true;
}

int whisper_init(struct whisper_context * *ctx, whisper_full_params& wparams)
{
    if (whisper_lang_id("chinese") == -1) {
        fprintf(stderr, "error: unknown language '%s'\n", "Chinese");
        exit(0);
    }

    struct whisper_context_params cparams = whisper_context_default_params();
    cparams.use_gpu = false;

   *ctx = whisper_init_from_file_with_params("models/ggml-small.bin", cparams);
    if (*ctx == nullptr) {
        fprintf(stderr, "error: failed to initialize whisper context\n");
        return 3;
    }


    wparams = whisper_full_default_params(WHISPER_SAMPLING_GREEDY);
    wparams.language         = "chinese";

    return 0;
}

int whisper_exit(struct whisper_context ** ctx)
{
    whisper_free(*ctx);
    return 0;
}

int whisper_identify(struct whisper_context **ctx, whisper_full_params& wparams, std::vector<float> pcmf32, std::string& result)
{
    if(whisper_full(*ctx, wparams, pcmf32.data(), pcmf32.size()) != 0){
        return -1;
    }

    const int n_segments = whisper_full_n_segments(*ctx);
    for (int i = 0; i < n_segments; ++i) {
        const char * text = whisper_full_get_segment_text(*ctx, i);

        result += text;
    }

    return 0;
}

int main(int argc, char ** argv) {
    std::vector<float> pcmf32;
    struct whisper_context *ctx = nullptr;
    whisper_full_params wparams;
    std::string text;

    if(!wav_read("output.wav", pcmf32)){
        fprintf(stderr, "wave read failed !\n");
        return -1;
    }

    if(whisper_init(&ctx, wparams)){
        fprintf(stderr, "whisper init error !\n");
        return -1;
    }

    if(whisper_identify(&ctx, wparams, pcmf32, text)){
        fprintf(stderr, "identify error !\n");
        return 0;
    }

    whisper_exit(&ctx);

   fprintf(stdout, "text is : %s\n", text.c_str());

    return 0;
}

该文件简化为 wav 文件读、whisper 初始化、whisper 识别以及 whisper 退出这几个函数，结构简单更容易理解。将其替换 example/main/main.cpp 重新编译即可以执行。

注：
在 whisper 的 api 函数中涉及到的语言全部用小写，不能使用大写，否则会提示不支持。

参考文献

whisper.cpp

法号：行颠
关注
  • 8
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
whisper、whisper.cpp、faster-whisper的比较
KQe397773106的博客
03-28 2176
让我们比较一下当前的whisper、whisper.cpp和faster-whisper。OpenAI / Whisper 自发布以来，似乎在各个方面都发生了变化，例如在 2022 年 12 月增加了 large-v2 模型和各种版本升级。whisper.cpp是用 CPU 的 C/C++ 编写的。它似乎是Core ML支持，所以它对于Mac用户有强烈的感觉。
开源C++智能语音识别库whisper.cpp开发使用入门
踏莎行的博客
11-28 2191
whisper.cpp是一个C++编写的轻量级开源智能语音识别库，是基于openai的开源python智能语音模型whisper的移植版本，依赖项少，内存占用低，性能更优，方便作为依赖库集成的到应用程序中提供语音识别功能。以下基于whisper.cpp的源码利用C++ api来开发实例demo演示读取本地音频文件并转成文字。
Whisper.cpp 编译使用
...
03-20 8195
是牛人 ggerganov 对 openai 的whisper语音识别模型用 C++ 重新实现的项目，开源在 github 上，具有轻量、性能高，实用性强等特点。这篇文章主要记录在 windows 平台，如何使用该模型在本地端进行语音识别。
Whisper.cpp: 一个轻量级、高效的C++事件系统
gitblog_00038的博客
03-19 1293
Whisper.cpp: 一个轻量级、高效的C++事件系统 项目地址:https://gitcode.com/ggerganov/whisper.cpp 在当今的软件开发中，事件驱动模型已经成为构建复杂应用程序的核心部分。Whisper.cpp是一个小巧但强大的C++库，旨在为你的项目提供一个高效且易于使用的事件处理框架。在这个推荐文中，我们将深入探讨它的功能、技术特点以及如何利用它提升你的开发...
在Linux(Centos7)上编译whisper.cpp的详细教程
smilehjl
09-11 795
文章主要介绍如何在centos7上安装编译whisper.cpp这个语音识别工具，文章过程详细，可以让你花最少的时间完成whisper.cpp的编译，让你快速拥有语音识别助手
whisper.cpp在Windows VS的编译
sinat_18131557的博客
05-30 2757
是OpenAI开源的一款语音识别的模型，包含有英语和多国语言的模型，根据实际情况来看，其支持的90多种语言的准确率着实表现惊艳，英文甚至可以做到3%左右的误词率，官方图表显示中文的误词率大约是14%，但是实际使用的情况来看，误词率也是相当低，几乎也在3%左右。在对比了CPU与GPU版本发现，GPU的时间更长，主要是GPU版本在加载模型的load time更长了，实际的推理时间约500ms相比GPU的800ms要短一些的。这个编译参数也会带到nvcc编译器的编译过程中，但是nvcc并不支持这个参数，
whisper.cpp的ggml-large-v3.bin模型参数文件
01-21
ggml-large-v3.bin模型参数文件的压缩一部分，压缩为4个部分，此为part3
Whisper：安全可靠的聊天工具
02-12
耳语（Whisper）是一款强调安全可靠性的聊天应用，它为用户提供私密的通信环境，保护用户的隐私。作为一款基于C++技术构建的软件，Whisper在设计时着重考虑了数据加密、用户身份验证和消息不可追溯性等关键安全特性...
webassembly003 whisper.cpp的main项目-2:根据给定的模型文件和参数进行配置
ResumeProject的博客
01-27 512
【代码】webassembly003 whisper.cpp的main项目-2:根据给定的模型文件和参数进行配置。
Python+whisper.cpp纯本地化语音转文字
w4wise
08-06 865
纯本地化语音转文字
whisper.cpp安装配置
xzhao的博客
07-08 1309
whisper的C++实现，测试了录音文件和实时识别的效果。
whisper客服源码_以太坊源码分析—Whisper
weixin_36074800的博客
12-30 502
[TOC]前言Whisper是以太坊中一项非常有趣的技术，它是一个基于身份的通信系统，被设计用于Dapp之间少量数据通信。Whisper协议运行在以太坊p2p协议框架之上，所有运行Whisper协议的节点(以下简称节点)组成一个Whisper网络。通过节点之间的消息转发，理论上，每个节点都可以收到所有Whisper消息。特性Whisper具有以下基本特性和概念通信加密每一条Whisper消息在网络...
20240202在Ubuntu20.04.6下使用whisper.cpp的显卡模式
南岭笑笑生之家
02-02 1507
【并且极其可能是矿卡！[00:00:19.940 --> 00:00:22.700] 骆驼牌还是我爹这个年纪的人才会愿意买的牌子。[00:00:43.920 --> 00:00:46.560] 我又想起了当年郭德纲老师穿计繁西的残剧。[00:00:49.480 --> 00:00:52.100] 所以说我总结了一下冲锋衣传达的要领。[00:00:32.160 --> 00:00:34.500] 现在小红书上面和冲锋衣相关的笔记。
OpenAI的离线音频转文本模型 Whisper 的.NET封装项目
寒冰屋的专栏
04-28 851
whisper的核心功能语音识别，对于大部分人来说，可以帮助我们更快捷的将会议、讲座、课堂录音整理成文字稿；对于影视爱好者，可以将无字幕的资源自动生成字幕，不用再苦苦等待各大字幕组的字幕资源；对于外语口语学习者，使用whisper翻译你的发音练习录音，可以很好的检验你的口语发音水平。
Whisper.cpp本地化：Windows端部署详解与实操
最新发布
weixin_52318459的博客
06-08 1462
本篇博客将介绍如何使用Whisper.cpp工具来为 Windows 上的视频文件生成字幕。
Whisper 从0安装教程 windows
blog of Chongzi
11-01 1420
（我试了把指令里的12.1，改成12.2，然后没找到这个版本的pytorch）这个教程是装在系统中运行的，我一开始是想按照这个教程来装的，但是我后来在anaconda里面装了pytorch，感觉都在anaconda里面搞算了，毕竟装到系统里面还要改环境变量啥的很麻烦。因为看到Anaconda官网上最新的版本是基于python3.11的，但是我自己电脑上的版本是python3.10，为了避免我这种不太会搞环境的人不装错，还是先卸载3.10，装上3.11。最后用了这个教程，在anaconda里面装好了运行。
学习实践-Whisper语音识别模型实战（部署+运行）
LZL2020LZL的博客
04-12 6239
OpenAI的语音识别模型Whisper，Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。
webassembly003 whisper.cpp的main项目-3 whispercpp_simple
ResumeProject的博客
01-28 361
whispercpp执行cpu推理的最小依赖。
whisper.cpp
01-06
whisper.cpp是一个C++语言编写的程序文件，其中包含了一系列实现低音量、私密交流功能的代码。该程序利用C++语言中的函数和类来实现对文本输入的加密和解密操作，使得用户可以通过轻声细语的方式进行信息交流。 在whisper.cpp中，可能会包含一些用于输入文本的函数，比如readInput()，用于加密文本的函数，比如encryptMessage()，以及用于解密文本的函数，比如decryptMessage()。除此之外，可能还会包含一些数据结构，比如用于存储加密密钥的变量或者存储加密后的文本的变量。 除了以上的基本功能外，whisper.cpp中也可能会包含一些错误处理和异常处理的代码，以确保程序在运行过程中不会出现崩溃或者数据丢失的问题。同时，为了方便用户使用，可能还会包含一些用户交互的界面，比如命令行输入或者图形界面。 在实际使用中，whisper.cpp可以作为一个库文件，被其他C++程序引用并调用其中的函数，从而实现对加密通信的需求。也可以通过命令行编译成可执行文件，用户可以直接通过终端输入命令来调用其中的功能。 总之，whisper.cpp是一个用C++编写的程序文件，可以实现对文本信息进行加密和解密的功能，为用户提供了一种私密、低音量的交流方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值