中文语音识别实战（ASR）

已于 2024-04-29 09:40:41 修改
阅读量1.3k 收藏 21
点赞数 18
分类专栏： hugging face NLP 文章标签： 语音识别 人工智能 whisper nlp
于 2024-04-25 11:46:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014403221/article/details/137666946
版权

写在前面的话

本博客主要介绍了

1. 语音识别基础知识

2. 中文语音识别数据集

3. 语音识别常用模型方法

4. 自己训练一个中文语音识别模型

注意： 代码中所涉及的模型及数据集，均可从huggingface下载得到，代码中的路劲，需要根据自身实际情况稍做调整。

目录

语音识别基础

数据集

模型

wav2vec

whipser

训练代码

工具代码

推理代码

单条推理

参考

语音识别基础

音视频开发基础入门｜声音的采集与量化、音频数字信号质量、音频码率_量化后的声音信号-CSDN博客

https://huggingface.co/learn/audio-course/chapter1/audio_data

数据集

common_voice

包含大陆，香港，台湾等地的语音数据。

https://huggingface.co/datasets/fsicoli/common_voice_17_0

其它

webhub123

模型

wav2vec

https://huggingface.co/facebook/wav2vec2-base

whipser

Whisper是一种用于自动语音识别（ASR）和语音翻译的预训练模型。Whisper模型经过680k小时的标记数据训练，显示出强大的能力，可以在不需要微调的情况下推广到许多数据集和领域。

模型架构

模型大小
模型大小

https://huggingface.co/docs/transformers/model_doc/whisper#transformers.WhisperProcessor

最低0.47元/天 解锁文章
arv1nChen
关注
  • 18
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
中文语音预训练模型：Wav2vec 2.0、HuBERT
u013250861的博客
06-16 4028
腾讯游戏知几AI团队与西工大ASLP组联合发布了基于 WenetSpeech 1 万小时数据训练的中文版 Wav2vec 2.0 和 HuBERT 模型。Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conver
Python 语音识别系列-实战学习-DFCNN-Transformer的实现
04-30
在本实践教程中，我们将深入探讨“Python 语音识别系列-实战学习-DFCNN-Transformer的实现”，这是一项结合了深度学习技术与自然语言处理的创新应用。DFCNN（Deep Fusion Convolutional Neural Network）和...
Wav2Vec2 是自动语音识别 (ASR) 的预训练模型
Gefangenes的博客
07-05 2448
是自动语音识别 (ASR) 的预训练模型，由和于发布。其在最流行的 ASR 英语数据集之一上展示了 Wav2Vec2 的强大性能后不久，就推出了 Wav2Vec2 的两个多语言版本，称为和，能够识别多达 128 种语言的语音。XLSR 代表跨语言语音表示，指的是模型学习跨多种语言有用的语音表示的能力。Meta AI 的最新版本，，由等人编写。将多语言语音表示提升到一个新的水平。通过发布的各种，可以识别、转录和生成超过 1,100 多种口语。
推荐文章：万小时多领域中文语音识别数据集——WenetSpeech
gitblog_00045的博客
05-22 592
推荐文章：万小时多领域中文语音识别数据集——WenetSpeech 项目地址:https://gitcode.com/wenet-e2e/WenetSpeech 项目介绍 WenetSpeech 是一个超过10000小时的多领域中文语音识别开源数据集，旨在为深度学习在语音识别领域的研究和应用提供高质量的数据资源。这个项目由多个机构合作创建，包括西北工业大学、搜狗听悟、阿里云等，并受到GigaSpe...
WAV2VEC:针对语音识别的无监督预训练
DataBaker的博客
08-23 2843
WAV2VEC: UNSUPERVISED PRE-TRAINING FOR SPEECH RECOGNITION 概要 本文使用大量的无标签数据集去预训练wav2vec模型，从而提升声学模型效果。本文训练的模型在性能上超越了Deep Speech 2，在nov92测试集上，WER达到了2.43%。 1 简介 预训练在深度学习算法中是一个很常用的方法，主要作用是能提升模型性能，即使是在当前带标签数据集的很少的情况下。主要方法是通过大量的无标签数据或者有标签的其他数据集对模型进行训练，可以使模型学习到通用的特
深度神经网络——中文语音识别
chuyunchi8137的博客
08-29 3800
1. 背景介绍 语音是人类最自然的交互方式。计算机发明之后让机器能够“听懂”人类的语言、理解语言含义，并能做出正确回答就成为了人们追求的目标。这个过程主要采用了 3 种技术，即自动语音识别（automatic speech recognition， ASR）、自然语言处理（natural ...
6款支持中文语音识别开源软件的简单使用
十十办文武的博客
08-31 1万+
语音识别技术，也被称为自动语音识别（Automatic Speech Recognition，ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。语音识别是深度学习领域之一, 在 github 上也有很多项目实现 ASR, 支持中文 ASR 的部分项目如下，下面会演示简单使用。...
OpenAI Whisper中文语音识别效果尝试和应用（一）
热门推荐
m0_74037076的博客
11-05 2万+
whisper自动语音识别安装和了解，适合入门者了解语音识别技术。
基于百度、阿里、openai的中文语音识别研究测试报告
weixin_45901142的博客
05-29 1745
基于百度、阿里、openai的中文语音识别研究测试报告
普通话/汉语的语音识别：DFSMN-CTC-SMBR模型
zephyr_wang的博客
12-06 3045
1 简介 本文根据《Investigation of Modeling Units for Mandarin Speech Recognition Using Dfsmn-ctc-smbr》翻译总结。采用DFSMN-CTC-SMBR进行普通话语音识别。 一般一个声学模型包括3个关键部分，分别是：神经网络、声学模型单元、优化目标函数。 本文采用DFSMN-CTC-SMBR，即神经网络是DFSMN，目标函数是CTC与SMBR。声学模型采用的是hybrid Character-Syllable，包括常见的中文字符
PPASR中文语音识别（入门级）模型（free_st_chinese_mandarin_corpus数据集训练的）
03-16
PPASR中文语音识别（入门级）模型（free_st_chinese_mandarin_corpus数据集训练的） 源码地址：https://github.com/yeyupiaoling/PPASR/tree/%E5%85%A5%E9%97%A8%E7%BA%A7
Kaldi语音识别实验讲义（全）University of Edinburgh
01-14
The main goal of this lab is to get acquainted with Kaldi. We will begin by creating and exploring a data directory for the TIMIT dataset. Then we will extract features for TIMIT upon which we can ...
用java实现本地语音实时采取，然后对接阿里AI语音识别实现，语音识别系统。并内部加载逻辑实现电脑语音控制
08-14
阿里云提供了丰富的语音识别服务，包括实时语音识别（Speech Recognition）和离线语音识别（ASR）。开发者需要注册阿里云账号，获取API密钥和Access Key，然后使用阿里云提供的SDK或者HTTP API来调用服务。接口通常...
Python实战自动语音识别（毕设 + 课设）.zip
最新发布
06-28
在"Python实战自动语音识别（毕设 + 课设）"这个项目中，我们将深入探讨如何使用Python语言来构建一个ASR系统，这对于毕业设计或课程设计是非常有价值的实践。 Python作为一种流行的编程语言，拥有丰富的库资源，...
自动语音识别
02-17
自动语音识别（Automatic Speech Recognition，ASR）是计算机科学领域中的一个重要研究方向，它涉及到人工智能、信号处理、模式识别和机器学习等多个子领域。在现代技术中，ASR被广泛应用于智能助手、智能家居、车载...
调用华为API实现中文语音识别
ZHW-鲜橙大AI课题组的博客
05-31 1739
本文简要概述了如何调用华为API实现中文语音识别，并附有完整代码。
使用Python轻松识别音频中文字(Whisper)
Hello_Haiwan的博客
05-07 4041
Whisper是由OpenAI基于Python开发的能够识别多国语言的语音识别模型，同时能将识别结果翻译为指定语言。Open AIWhisper是一种通用的语音识别模型。它是在不同音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。即它可以实现自动识别音频中的语言，语音识别，将识别结果翻译为指定语言这些功能。
openai开源的whisper在huggingface中使用例子（语音转文字中文）
qq_37401291的博客
01-20 6199
openai开源的whisper在huggingface中使用例子（语音转文字中文）
kaldi入门：搭建第一个中文ASR (AISHELL-1)
Pika
08-03 9227
欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片
wav2vec2详解
04-06
wav2vec2是一种语音识别模型，它是由Facebook AI Research开发的。它的全称是"Waveform to Vector 2"，是wav2vec的第二个版本。wav2vec2模型通过将语音信号转换为向量表示来实现语音识别任务。 wav2vec2模型的核心思想是使用自监督学习来训练模型。在训练过程中，模型首先通过一个自编码器将原始的语音信号编码为一个低维的向量表示，然后再通过解码器将这个向量表示解码为重构的语音信号。通过这种方式，模型可以学习到语音信号中的有用特征。 与传统的语音识别模型不同，wav2vec2模型不需要手动标注大量的语音数据。它使用了大量的未标注的语音数据来进行自监督学习，从而可以更好地捕捉语音信号中的特征。这使得wav2vec2模型在训练过程中可以更好地泛化到其他任务上。 wav2vec2模型在语音识别任务上取得了很好的效果，并且在一些挑战性的数据集上超过了传统的语音识别方法。它已经被广泛应用于语音识别、语音合成等领域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值