中文语音识别实战（ASR）

已于 2024-04-29 09:40:41 修改
阅读量1.3k 收藏 21
点赞数 18
分类专栏： hugging face NLP 文章标签： 语音识别 人工智能 whisper nlp
于 2024-04-25 11:46:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014403221/article/details/137666946
版权

写在前面的话

本博客主要介绍了

1. 语音识别基础知识

2. 中文语音识别数据集

3. 语音识别常用模型方法

4. 自己训练一个中文语音识别模型

注意： 代码中所涉及的模型及数据集，均可从huggingface下载得到，代码中的路劲，需要根据自身实际情况稍做调整。

目录

语音识别基础

数据集

模型

wav2vec

whipser

训练代码

工具代码

推理代码

单条推理

参考

语音识别基础

音视频开发基础入门｜声音的采集与量化、音频数字信号质量、音频码率_量化后的声音信号-CSDN博客

https://huggingface.co/learn/audio-course/chapter1/audio_data

数据集

common_voice

包含大陆，香港，台湾等地的语音数据。

https://huggingface.co/datasets/fsicoli/common_voice_17_0

其它

webhub123

模型

wav2vec

https://huggingface.co/facebook/wav2vec2-base

whipser

Whisper是一种用于自动语音识别（ASR）和语音翻译的预训练模型。Whisper模型经过680k小时的标记数据训练，显示出强大的能力，可以在不需要微调的情况下推广到许多数据集和领域。

模型架构

模型大小
模型大小

https://huggingface.co/docs/transformers/model_doc/whisper#transformers.WhisperProcessor

最低0.47元/天 解锁文章
arv1nChen
关注
  • 18
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
中文语音预训练模型：Wav2vec 2.0、HuBERT
u013250861的博客
06-16 4093
腾讯游戏知几AI团队与西工大ASLP组联合发布了基于 WenetSpeech 1 万小时数据训练的中文版 Wav2vec 2.0 和 HuBERT 模型。Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conver
PaddlePaddle-DeepSpeech中文语音识别模型（free_st_chinese_mandarin_corpus）
03-19
PaddlePaddle-DeepSpeech中文语音识别模型（free_st_chinese_mandarin_corpus数据集训练的） 项目地址：https://github.com/yeyupiaoling/PaddlePaddle-DeepSpeech/tree/release/1.0
深度神经网络——中文语音识别
chuyunchi8137的博客
08-29 3807
1. 背景介绍 语音是人类最自然的交互方式。计算机发明之后让机器能够“听懂”人类的语言、理解语言含义，并能做出正确回答就成为了人们追求的目标。这个过程主要采用了 3 种技术，即自动语音识别（automatic speech recognition， ASR）、自然语言处理（natural ...
⌈ 传知代码 ⌋ 语音预训练模型wav2vec
Dream_Y.ocean的博客
05-31 970
论文：wav2vec: Unsupervised Pre-training for Speech RecognitionWav2Vec（Waveform-to-Vector）是一种在语音处理领域中具有重要意义的技术。它的由来可以追溯到Facebook AI Research（FAIR）在2019年提出的一篇论文，旨在解决语音识别中的数据标记问题。传统的语音识别系统通常需要大量标记好的语音数据进行训练，但这一过程非常耗时且昂贵。
6款支持中文语音识别开源软件的简单使用
十十办文武的博客
08-31 1万+
语音识别技术，也被称为自动语音识别（Automatic Speech Recognition，ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。语音识别是深度学习领域之一, 在 github 上也有很多项目实现 ASR, 支持中文 ASR 的部分项目如下，下面会演示简单使用。...
OpenAI Whisper中文语音识别效果尝试和应用（一）
热门推荐
m0_74037076的博客
11-05 2万+
whisper自动语音识别安装和了解，适合入门者了解语音识别技术。
基于百度、阿里、openai的中文语音识别研究测试报告
weixin_45901142的博客
05-29 1770
基于百度、阿里、openai的中文语音识别研究测试报告
普通话/汉语的语音识别：DFSMN-CTC-SMBR模型
zephyr_wang的博客
12-06 3064
1 简介 本文根据《Investigation of Modeling Units for Mandarin Speech Recognition Using Dfsmn-ctc-smbr》翻译总结。采用DFSMN-CTC-SMBR进行普通话语音识别。 一般一个声学模型包括3个关键部分，分别是：神经网络、声学模型单元、优化目标函数。 本文采用DFSMN-CTC-SMBR，即神经网络是DFSMN，目标函数是CTC与SMBR。声学模型采用的是hybrid Character-Syllable，包括常见的中文字符
Python 语音识别系列-实战学习-DFCNN-Transformer的实现
04-30
在本实践教程中，我们将深入探讨“Python 语音识别系列-实战学习-DFCNN-Transformer的实现”，这是一项结合了深度学习技术与自然语言处理的创新应用。DFCNN（Deep Fusion Convolutional Neural Network）和...
Kaldi语音识别实验讲义（全）University of Edinburgh
01-14
The main goal of this lab is to get acquainted with Kaldi. We will begin by creating and exploring a data directory for the TIMIT dataset. Then we will extract features for TIMIT upon which we can ...
用java实现本地语音实时采取，然后对接阿里AI语音识别实现，语音识别系统。并内部加载逻辑实现电脑语音控制
08-14
阿里云提供了丰富的语音识别服务，包括实时语音识别（Speech Recognition）和离线语音识别（ASR）。开发者需要注册阿里云账号，获取API密钥和Access Key，然后使用阿里云提供的SDK或者HTTP API来调用服务。接口通常...
PaddlePaddle-DeepSpeech中文语音识别模型（thchs_30数据集训练的）
03-22
PaddlePaddle-DeepSpeech中文语音识别模型（thchs_30数据集训练的） 项目地址：https://github.com/yeyupiaoling/PaddlePaddle-DeepSpeech/tree/release/1.0
Python实战自动语音识别（毕设 + 课设）.zip
06-28
在"Python实战自动语音识别（毕设 + 课设）"这个项目中，我们将深入探讨如何使用Python语言来构建一个ASR系统，这对于毕业设计或课程设计是非常有价值的实践。 Python作为一种流行的编程语言，拥有丰富的库资源，...
自动语音识别
02-17
自动语音识别（Automatic Speech Recognition，ASR）是计算机科学领域中的一个重要研究方向，它涉及到人工智能、信号处理、模式识别和机器学习等多个子领域。在现代技术中，ASR被广泛应用于智能助手、智能家居、车载...
使用Python轻松识别音频中文字(Whisper)
Hello_Haiwan的博客
05-07 4058
Whisper是由OpenAI基于Python开发的能够识别多国语言的语音识别模型，同时能将识别结果翻译为指定语言。Open AIWhisper是一种通用的语音识别模型。它是在不同音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。即它可以实现自动识别音频中的语言，语音识别，将识别结果翻译为指定语言这些功能。
调用华为API实现中文语音识别
ZHW-鲜橙大AI课题组的博客
05-31 1746
本文简要概述了如何调用华为API实现中文语音识别，并附有完整代码。
基于PaddlePaddle实现的DeepSpeech2端到端中文语音识模型
夜雨飘零
11-04 1万+
本项目是基于PaddlePaddle的[DeepSpeech](https://github.com/PaddlePaddle/DeepSpeech) 项目开发的，做了较大的修改，方便训练中文自定义数据集，同时也方便测试和使用。DeepSpeech2是基于PaddlePaddle实现的端到端自动语音识别（ASR）引擎，其论文为[《Baidu's Deep Speech 2 paper》](http://proceedings.mlr.press/v48/amodei16.pdf) ，本项目同时还支持各种数据
中文语音标注工具FunASR（语音识别）
前方的路在刚开始
12-11 6269
全称（一个语音识别工具）可能大家用过whisper（openAi），它【标注英语的确很完美】，【但中文会出现标注错误】或搞了个没说的词替换上去，所以要人工核对，麻烦。FunASR作用:能【准确】识别语音，并转成【文字、标出声调】他的原理，就不讲了，俺是搞大数据的，python这东西就勉强能写个爬虫和接口，机器学习和ai相关的算法是0基础。
【语音识别和生成】语音识别和语音合成技术
最新发布
weixin_39372311的博客
07-23 494
语音识别和语音生成是人工智能的重要分支，旨在实现计算机对人类语音的理解和生成。随着技术的发展，语音识别和生成技术将继续推动人工智能的进步，带来更多创新和变革。智能助理如苹果的Siri、谷歌助手和亚马逊的Alexa，广泛应用了语音识别和生成技术，实现语音交互和智能问答。语音识别和生成技术在智能家居中得到广泛应用，通过语音控制家电设备，如灯光、空调、电视和音响等，提升用户的生活便利性和舒适度。语音识别和生成技术在医疗健康领域有重要应用，如语音电子病历、语音助手和远程医疗等，提高医疗服务的效率和质量。
wav2vec2详解
04-06
wav2vec2是一种语音识别模型，它是由Facebook AI Research开发的。它的全称是"Waveform to Vector 2"，是wav2vec的第二个版本。wav2vec2模型通过将语音信号转换为向量表示来实现语音识别任务。 wav2vec2模型的核心思想是使用自监督学习来训练模型。在训练过程中，模型首先通过一个自编码器将原始的语音信号编码为一个低维的向量表示，然后再通过解码器将这个向量表示解码为重构的语音信号。通过这种方式，模型可以学习到语音信号中的有用特征。 与传统的语音识别模型不同，wav2vec2模型不需要手动标注大量的语音数据。它使用了大量的未标注的语音数据来进行自监督学习，从而可以更好地捕捉语音信号中的特征。这使得wav2vec2模型在训练过程中可以更好地泛化到其他任务上。 wav2vec2模型在语音识别任务上取得了很好的效果，并且在一些挑战性的数据集上超过了传统的语音识别方法。它已经被广泛应用于语音识别、语音合成等领域。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值