FunASR

于 2025-04-01 09:29:30 发布
阅读量624 收藏 12
点赞数 27
分类专栏： 大模型 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jailman/article/details/146600261
版权

FunASR是由阿里巴巴达摩院开发的开源语音识别工具包，旨在搭建学术研究与工业应用之间的桥梁。

在这里插入图片描述

一、核心功能与技术亮点

  1. 多模态语音处理能力
    FunASR支持语音识别（ASR）、语音端点检测（VAD）、标点恢复、说话人分离与验证、多人对话识别等全链路功能。例如，其离线模式可处理长达数十小时的长音频，输出带标点、字级时间戳的文本，并支持自定义热词优化。相比Whisper等模型，FunASR在中文标点恢复和术语适配上表现更优。

  2. 高性能模型架构

    • Paraformer模型：采用非自回归（NAR）设计，单步推理速度比传统自回归模型快5倍以上，同时支持时间戳预测和热词定制。例如，医疗场景中可通过热词增强术语识别准确率。
    • FSMN-VAD与CT-Transformer：语音活动检测模型（FSMN-VAD）和标点恢复模型（CT-Transformer）基于工业级语料训练，显著提升长音频处理效率。

  3. 实时与离线协同模式
    提供三种服务模式：实时听写（online）、离线转写（offline）和混合协同（2pass），满足直播、会议记录等场景需求。例如，实时模式首包延迟可低至3秒。

二、应用场景与案例

  1. 泛用场景

    • 音视频转文字：支持本地/在线音视频文件一键转写为带标点的SRT字幕，30分钟视频仅需15秒完成处理。
    • 数字人交互：集成于实时对话系统（如阿里ModelScope数字人），实现语音输入与流式视频输出，适用于直播、客服等场景。

  2. 垂直领域适配

    • 医疗领域：结合医学知识图谱，优化术语识别（如“血糖”“血压”），并通过方言隐空间映射提升口音适应性。
    • 教育/会议：多人对话分离功能可区分不同说话者，适用于课堂录音或跨国会议记录。

三、部署与开发灵活性

  1. 跨平台支持
    提供Docker镜像、Python API及C++/HTML5接口，支持CPU、GPU（ONNX/TensorRT加速）和移动端部署。例如，通过Docker可快速搭建服务端，映射端口实现API调用。

  2. 开发者工具链

    • 快速启动：Python调用示例（5行代码完成语音转写）：
      from funasr import AutoModel
model = AutoModel(model="paraformer-zh")
res = model.generate(input="audio.wav")
print(res[0]['text'])  # 输出带标点文本
    • 微调与扩展：支持少量领域数据微调预训练模型，例如医疗语音数据优化识别准确率。

四、资源与社区支持

  1. 开源生态
    模型和教程发布于GitHub与ModelScope魔搭社区，提供免费离线模型及在线体验平台。

  2. 性能对比

    功能FunASR优势典型对比案例
    中文标点恢复精确率超Whisper 15%影视字幕生成
    长音频处理支持百路并发转写电话录音批量分析
    工业级部署内存占用低至2GB（VAD+ASR）嵌入式设备集成

五、总结

FunASR凭借全链路功能、工业级性能及灵活的部署方式，已成为语音识别领域的标杆工具。其开源生态和持续更新（如2025年新增粤语/韩语支持）进一步降低了技术落地门槛。开发者可通过ModelScope快速体验，或参考官方文档深入定制行业解决方案。

语音识别（实时语音转录）——funasr的详细部署和使用教程(包括实时语音转录)
qq_34717531的博客
08-13 2万+
阿里达摩院开源大型端到端语音识别工具包FunASR：FunASR提供了在大规模工业语料库上训练的模型，并能够将其部署到应用程序中。工具包的核心模型是Paraformer，这是一个非自回归的端到端语音识别模型，经过手动注释的普通话语音识别数据集进行了训练，该数据集包含60,000小时的语音数据。为了提高Paraformer的性能，本文在标准的Paraformer基础上增加了时间戳预测和热词定制能力。
比较流行的一些音频AI模型
weixin_59602119的博客
08-01 2115
一些流行的音频模型介绍
离线部署funasr
weixin_47046791的博客
05-23 2866
例如，将 my_image:tag 保存为 my_image.tar。2.当前funasr-runtime-sdk-cpu-0.4.5在centos上运行不起来，在ubuntu系统上按照原始文档说明安装成功。5.在无网络环境中的目标机器上，使用 docker load 命令加载之前保存的 tar 归档文件并导入镜像。3.将ubuntu系统上docker镜像打包以及模型copy迁移到离线的centos机器上。4.将 tar 归档文件传输到无网络环境中的目标机器。1.在已有的可以运行的docker打包。
FunASR实时语音听写便捷部署教程
sinat_20991985的博客
02-27 2225
FunASR实时语音听写便捷部署教程FunASR提供可便捷本地或者云端服务器部署的实时语音听写服务，内核为FunASR已开源的runtime-SDK。FunASR集成了达摩院语音实验室在Modelscope社区开源的语音端点检测(VAD)、Paraformer-large非流式语音识别(ASR)、Paraformer-large流式语音识别(ASR)、标点预测(PUNC) 等相关能力。软件包既可以实时地进行语音转文字，而且能够在说话句尾用高精度的转写文字修正输出，输出文字带有标点，支持高并发多路请求。
【FunASR】Paraformer语音识别-中文-通用-16k-离线-large-onnx
Java技术栈，分享不断学习、不断超越、不断积累的历程！
12-15 7112
GitHub源码地址:FunASR是由阿里巴巴通义实验室语音团队开源的一款语音识别基础框架，集成了语音端点检测、语音识别、标点断句等领域的工业级别模型，吸引了众多开发者参与体验和开发。为了解决工业落地的最后一公里，将模型集成到业务中去，我们开发了社区软件包。中文离线文件转写服务（CPU版本），已完成中文流式语音识别服务（CPU版本），已完成英文离线文件转写服务（CPU版本），已完成中文离线文件转写服务（GPU版本），进行中更多支持中。
FunASR 概述
weixin_42136827的博客
11-21 3061
FunASR是一个开源的语音识别工具包，旨在缩小学术研究与工业应用之间的差距。它提供了在大规模工业语料库上训练的模型，包括ParaformerFSMN-VAD和模型。这些模型支持创建高精度、高效的语音识别系统，适用于多种实际场景，包括商业和工业用途。FunASR的整体框架旨在简化语音识别模型的学术研究和工业部署。热词自定义Fig. 2©功能允许用户在语音识别过程中优先处理特定词汇（热词），以提高这些关键术语的召回率和准确性。
funasr-wss-client.cpp
11-02
由于文件名中出现了“funasr-wss-client.cpp”，我们可以推断这可能是一个C++源代码文件，涉及到“funasr”、“wss”和“client”这三个关键字。 首先，“funasr”可能是一个项目名称、库名称或者是某种特定技术的...
开源语音识别 funasr windows版本二进制包
11-15
Funasr是一款开源的语音识别软件，专为Windows操作系统设计，并提供了二进制包供用户直接使用。这款软件的核心优势在于其开放源代码，允许开发者深入研究和定制化，以满足特定的应用场景需求。 在描述中提到，如果...
FunASR简化的源码
03-03
FunASR简化的源码是一种开源的自动语音识别（Automatic Speech Recognition，ASR）工具包。ASR技术是人工智能领域中重要的研究方向之一，它能够让计算机系统通过软件理解和解析人类的语音，从而实现语音到文本的转换...
基于funasr+pyaudio实现电脑本地麦克风实时语音识别项目语音转文本python源码
07-29
funasr==1.1.4 modelscope==1.16.1 PyAudio ==0.2.14 【视频演示】 https://www.bilibili.com/video/BV1Pb42177Bw/ 【博文地址】 https://blog.csdn.net/FL1623863129/article/details/140764071
调研funasr时间戳返回时间坐标效果可用性
10-24
在进行funasr时间戳返回时间坐标效果的可用性调研时，首先需要明确funasr系统的作用和工作原理。Funasr是一个专门用于语音识别的自动化软件工具，它将语音信号转换成文本信息，并在转换过程中为文本中的每个词赋予...
评测本地部署的语音识别模型
谢彦的技术博客
03-07 2876
本次评测将针对相对困难的语音进行真人评估，看看语音识别哪家强。
中文语音标注工具FunASR（语音识别）
前方的路在刚开始
12-11 9234
全称（一个语音识别工具）可能大家用过whisper（openAi），它【标注英语的确很完美】，【但中文会出现标注错误】或搞了个没说的词替换上去，所以要人工核对，麻烦。FunASR作用:能【准确】识别语音，并转成【文字、标出声调】他的原理，就不讲了，俺是搞大数据的，python这东西就勉强能写个爬虫和接口，机器学习和ai相关的算法是0基础。
FunASR模型的环境搭建
weixin_59602119的博客
08-01 5353
如果需要使用ModelScope中发布的预训练模型，需要安装ModelScope。如果无法使用GPU进行预测，可能是没有安装pytorch或者是与其他库版本不兼容。安装GPU版本的pytorch：（注意要根据自己的CDUA版本进行安装）报错解决：如果运行时出现模块未找到的问题，安装对应的模块即可。若手动安装此库也报同样的错误，那就需要去下载相应的库文件。安装完成后在尝试安装FunASR就可以正常安装了。# 或者从github上下载源码后进行源码安装。# 使用git工具克隆源码后进行源码安装。
顶顶通呼叫中心中间件-私有化asrproxy配置热词模型
qiiiio的博客
07-11 462
顶顶通呼叫中心中间件-私有化asrproxy配置热词模型。
【语音识别】搭建本地的语音转文字系统：FunASR（离线不联网即可使用）
热门推荐
qq_37280924的博客
04-24 1万+
阿里达摩院。
AudioGPT 语音技术全覆盖：语音识别、增强、分离、风格迁移等 | 开源日报 No.114
开源服务指南
12-18 1307
AudioGPT 是一个理解和生成语音、音乐、声音和虚拟人的开源项目。
FunASR语音识别快速上手指南
全世界的博客
05-15 6295
FunASR以其全面的功能、易用性和持续的更新，为语音识别的研究和应用提供了有力支持。无论是进行学术研究，还是在实际项目中应用，FunASR都是一个值得深入研究和使用的工具包。如需获取更多帮助或交流，欢迎访问FunASR的GitHub页面或加入钉钉群、微信群。
FunaSR
最新发布
03-10
<think>好的，我现在要帮助用户解决关于FunASR的安装、配置和使用问题。首先，我需要回忆用户提供的引用内容。根据引用[1]，用户提到了在Windows 10上安装FunASR并运行离线时间戳模型的步骤，特别是提到打开funasr_samples\samples\html\static文件夹，使用网页运行index.html。这可能涉及到安装后的示例运行步骤。 接下来，我需要整理安装FunASR的一般流程。通常，这类工具需要Python环境，可能需要使用pip安装。用户可能是在Windows系统下操作，所以需要指导如何在Windows上安装依赖，比如FFmpeg或者其他的库。然后，配置环境变量，确保命令行可以找到必要的工具。 然后，配置部分可能需要下载预训练模型，或者调整配置文件。用户提到的离线时间戳模型，可能需要从特定的位置下载模型文件，并放置到正确的目录中。运行示例时，可能需要通过命令行执行Python脚本，或者像引用中提到的，通过网页界面来运行，这可能涉及到启动一个本地服务器，或者打开HTML文件。 用户的问题可能包括安装过程中的常见错误，比如依赖冲突、缺少库文件，或者模型文件路径不正确。需要提前预想这些问题，并在指南中给出解决方法。例如，安装时提示缺少某些模块，可能需要通过pip单独安装，或者安装特定版本的库。 另外，引用[2]提到了Whisper的使用，虽然用户现在关注的是FunASR，但可能需要简要比较两者的区别，或者说明FunASR的特定优势，比如离线运行、时间戳功能等。但用户主要需求是安装和使用，所以这部分可能放在应用场景或相关问题里。 在生成使用教程时，需要分步骤说明：安装依赖、克隆仓库、安装FunASR、下载模型、运行示例。代码块需要正确显示命令，例如pip install命令和运行Python脚本的命令。同时，注意用户可能对命令行操作不熟悉，需要给出具体的示例，如cd到特定目录。 最后，根据用户要求生成相关问题，可能涉及性能优化、模型训练、与其他工具的比较等。需要确保问题相关且有参考价值，帮助用户进一步探索。 现在需要检查是否所有步骤都覆盖到了，并且符合用户提供的引用内容。特别是确保提到了运行index.html的步骤，以及模型下载的路径是否正确。如果有遗漏，可能需要补充细节，比如如何解决路径错误，或者如何处理浏览器安全限制导致网页无法运行的情况。</think>以下为FunASR使用指南，包含安装、配置及运行教程： ### 一、安装步骤（Windows 10） 1. **安装前置依赖** ```bash conda create -n funasr python=3.8 conda activate funasr pip install torch torchaudio pip install funasr modelscope ``` 2. **下载离线时间戳模型** ```python from modelscope.hub.snapshot_download import snapshot_download snapshot_download('damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch', cache_dir="./model") ``` ### 二、配置验证 1. **检查音频处理依赖** ```bash ffmpeg -version # 需确认返回版本号≥4.0[^1] ``` 2. **环境变量设置** ```bash set PATH=%PATH%;C:\ffmpeg\bin # 若使用自定义FFmpeg路径 ``` ### 三、运行离线时间戳示例 1. **执行语音识别** ```python from funasr import AutoModel model = AutoModel(model="paraformer-zh", model_revision="v2.0.4") res = model.generate(input="audio.wav", batch_size_s=300) print(res[0]["text"]) # 输出带时间戳的识别结果 ``` 2. **网页端可视化** ```bash cd funasr_samples\samples\html\static start index.html # 双击打开网页上传音频测试[^1] ``` ### 四、常见问题解决 | 问题现象 | 解决方案 | |---------|----------| | 缺少libssl.dll | 安装VC++ Redistributable | | 网页无法加载音频 | 使用Chrome浏览器并允许本地文件访问 | | 模型下载失败 | 手动从ModelScope仓库下载模型至./model目录 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值