基于端到端深度学习方法的语音唤醒(Keyword Spotting)模型和论文

最新推荐文章于 2024-05-17 14:17:54 发布
VIP文章 最新推荐文章于 2024-05-17 14:17:54 发布
阅读量8.5k 收藏 50
点赞数 5
分类专栏： 音频处理 文章标签： 深度学习 tensorflow 人工智能 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YZhang0108/article/details/105771069
版权

语音唤醒，即关键词检索（keyword spotting, KWS）。用语音唤醒设备，让设备由休眠状态切换至工作状态。
下面主要对基于端到端的深度学习方法的语音唤醒模型总结。
模型输入为语音，输出为各唤醒词的概率，一个模型解决，不需要再进行解码。
通常包括三个部分：第一步是特征的提取，第二步是一个神经网络，它的输入是语音特征，输出是各个关键词和非关键词即Filler这样一个后验概率。由于第二步的网络是以帧为单位输出后验值的，就需要第三步对后验值以一定的窗长进行平滑，平滑后的后验值如果超过一定阈值会被认为是唤醒了。

1、基于CNN的语音唤醒
《Convolutional Neural Networks for Small-footprint Keyword Spotting _Google2015》
在这里插入图片描述
基于CNN的KWS模型。构建可以识别 10 个不同字词的基本语音识别网络。该模型会尝试将时长为 1 秒的音频片段归类为无声、未知字词、“yes”、“no”、“up”、“down”、“left”、“right”、“on”、“off”、“stop”或“go”。
基于端到端的深度学习方法，可以作为入门资料，模型比较简单。设计了几个不同的CNN结构。缺点是模型参数比较多，运算量较大。

开源代码，在TensorFlow官网可以下载。
https://github.com/tensorflow/tensorflow/tree/master/ten

最低0.47元/天 解锁文章
YZhang0108
关注
  • 5
    点赞
  • 踩
  • 50
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于ADI DSP语音唤醒算法C语言实现
xinbo7077的博客
06-28 325
请注意，上述示例只是一个简化版的语音唤醒算法实现，实际应用中可能需要更复杂的处理和优化。此外，对于模型训练部分，需要收集大量的带有唤醒词的语音样本，并使用适合的训练算法进行模型的训练。在实际情况下，还需要考虑噪声环境、语音长度等因素对唤醒算法的影响，并进行相应的优化处理。4唤醒检测：对输入的语音信号应用已训练好的模型，通过计算得到的特征参数，判断是否包含唤醒词。1预处理：将输入的语音信号进行预处理，包括抗噪、降噪、预加重等操作，以提高后续处理的效果。// 假设输入的语音信号长度为1000。
基于WEKWS模型的语音唤醒关键词识别
人工智能学习生
01-18 1710
本文所使用的模型网络结构继承自论文《Compact Feedforward Sequential Memory Networks for Small-footprint Keyword Spotting》，文中研究了将低秩矩阵分解与传统FSMN相结合的紧凑型前馈顺序记忆网络（cFSMN）用于远场关键字检测任务。
豪猪：基于深度学习的设备上唤醒词检测
02-01
豪猪 在加拿大温哥华制造 豪猪是一种高精度，轻量级的唤醒单词引擎。 它使您能够构建始终监听语音的应用程序。 它是 使用在实际环境中训练的深度神经网络。 紧凑且计算效率高。 它非常适合物联网。 跨平台。 支持Raspberry Pi，BeagleBone，Android，iOS，Linux（x86_64），macOS（x86_64），Windows（x86_64）和Web浏览器。 此外，企业客户还可以访问ARM Cortex-M SDK。 可扩展的。 它可以检测多个始终监听的语音命令，而不会增加运行时占用空间。 自助服务。 开发人员可以使用训练自定义唤醒单词模型。 此存储库中免费提供了所有主要语音助手（ Alexa ， Hey Google ， Ok Google和Hey Siri ）的豪猪唤醒单词模型（在Apache 2.0下）。 目录 许可条款 Porcupine SDK是免费的，并根据Apache 2.0（包括在存储库中发布的获得许可。 提供两种类型的订阅：个人订阅和企业订阅。 个人帐户可以训练在x86_64上运行的自定义唤醒单词模型，但要受限制并严格出于非商业目的。
论文研究-基于关键词识别的语音到手势的转换.pdf
09-10
This paper proposes a method to realize a speech-to-gesture conversion for communication between speech impediments and healthy people. The keyword spotting is employed to recognize the key words from input speech signals. At the same time, the three dimensional gesture models of keywords are built by 3D modeling technology according to the “Chinese sign language”. The speech-to-gesture conversion is finally realized by playing the corresponding 3D gestures with OpenGL from the results of keyword spotting. Tests show that the realized keyword spotting achieves 90.1% of average recognition rate on letters and numbers. The converted gestures obtain 4.4 of mean opinion score. Therefore the proposed method can be applied to the communications between normal persons and speech impediments.
Trainable Frontend For Robust and Far-Field Keyword Spotting.pdf
08-29
Trainable Frontend For Robust and Far-Field Keyword Spotting 1. Introduction 2. Per-Channel Energy Normalization 3. Trainable PCEN Fronten 4. Experiments: PCEN vs. log-mel 5. Discussions and Conclusions
基于TensorFlow的端到端语音唤醒系统
06-27
snowboy关闭之后，比较难训练自己的唤醒模型，本系统可以通过录制自己唤醒词语音，与噪音合成数据集，然后训练出自己的唤醒模型。准确率很高！！！包括数据的合成，模型训练，模型实时部署（在windows上测试过）等。
关键词检测任务调研（Keyword Spotting）（1）
LJJ_12的博客
09-03 1102
背景介绍 随着语音智能手机和家庭助理的快速发展，人机对话界面在众多应用中变得越来越流行。这些语音接口的设计要求明确区分日常会话和语音命令。显然，连续执行语音识别并不节能。因此，通常采用一种更简单的方法，使用预定义的关键字作为激活自动语音识别模块的触发器。关键字识别（KWS）是一种持续监听特定关键字以启动语音输入的功能，可用于基于语音的人机界面中的唤醒词检测。与传统的关键词检测任务不同，在硬件的约束下，现实生活中的唤醒词检测必须是网络高效的。（这段话出自笔者论文） 所以笔者整理了一些参考文献，按照时间顺序
Key Spotting 小总结【关键词搜索】【大部分源于interspeech和ICASSP】
fanyuwgy的博客
06-22 1754
最近转了方向，就看了一些NLP方面的文章，这里做的小总结 目录 A survey on structured discriminative spoken keyword spotting SMALL-FOOTPRINT KEYWORD SPOTTING USING DEEP NEURAL NETWORKS Convolutional Neural Networks for Small-footprint Keyword Spotting Query-by-example keyword spott
基于飞桨paddlespeech训练中文唤醒词模型
谈谈音频开发
06-08 1095
一边训练模型，一边请更多的人用手机录“你好米雅”的唤醒词音频，还要对这些录好的做7k HZ处的低通滤波处理。整个数据集是由3个子数据集（“你好米雅”数据集，“你好米雅”相似词数据集，AIDATATANG数据集）组成的，前两个是同一出品方且用相同的设备录的。又想试试真实录音的wav的准确率如何，请了几个人在办公室环境下用手机录了“你好米雅”的音频，在得到的模型下去测试，结果让我大失所望，识别率特别低。等做产品时用的数据集是私有的，把找到的方法用到模型训练上，就能出一个性能不错的语音唤醒方案。
关键词检测任务调研（Keyword Spotting）（3）
LJJ_12的博客
09-03 783
目录 说明： Convolutional Recurrent Neural Networks for Small-Footprint Keyword Spotting Temporal Convolution for Real-time Keyword Spotting on Mobile Devices Introduction Network Architecture Multi-scale Convolution for Robust Keyword Spotting Intr...
基于深度学习的汉语语音关键词检测方法研究_hit.pdf
07-28
这份文档对利用深度学习研究语音识别的专业人员颇有参考价值，尤其是对语音关键词检出的研究有比较高的参考价值。 研究成果新颖、前沿
opencv4.5的dnn_text_spotting模型文件下载
12-23
opencv4.5新更新的TextRecognitionModel和TextDetectionModel_DB的onnx模型文件，包含DB_TD500_resnet18.onnx，DB_TD500_resnet50.onnx，crnn_cs_CN.onnx和alphabet_3944.txt
WebRTC 语音激活检测(VAD)算法
梅逊雪——记录科学研究
09-11 961
检测原理是根据人声的频谱范围，把输入的频谱分成六个子带（80Hz~250Hz，250Hz~500Hz，500Hz~1K，1K~2K，2K~3K，3K~4K）， 分别计算这六个子带的能量。对数似然比分为全局和局部，全局是六个子带之加权之和，而局部是指每一个子带则是局部，所以语音判决会先判断子带，子带判断没有时会判断全局，只要有一方过了，就算有语音。由于实际应用中，单纯依靠能量检测特征检测等方法很难判断人声说话的起始点，所以市面上大多数的语音产品都是使用唤醒词判断语音起始，另外加上声音回路，还可以做语音打断。
linux 休眠定时唤醒_语音交互：从语音唤醒（KWS）聊起
weixin_39724469的博客
11-24 551
编辑导语：随着手机的逐渐智能化，越来越多的手机只要听到指令就会帮助主人完成一些任务，这就是语音唤醒功能。本文作者围绕语音唤醒功能，从其应用有哪些、工作原理是什么、怎样训练一个唤醒模型、如何测试等方面展开了详细地讨论。“Hi siri”、“天猫精灵”、“小爱同学”，我们生活中常常会叫到这些名字，让她们来帮我们完成一些指令，这个过程就像叫某人帮你做某事的感觉。而这个叫名字的过程，就是我们今天要聊的语音...
论文笔记 ​​​​​​​---语音关键词检测方法综述
Pandade
03-24 3021
概述 相比于语音识别、语音合成、语音增强，说话人识别等常见语音领域，关键词检测相对来说比较小众，但随着智能助理、智能音箱等的兴起，关键词检测越来越受到产业界的 重视。 语音关键词检测关注如何从连续语音流中检测出用户感兴趣的关键词。典型场景分为两类： 1、语音设备控制： 根据用户指令来唤醒或者控制智能设备； 2、语音检索： 从大段语音文档中定位到关键词所在位置。Keyword Spotting 指...
关键词检测任务调研（Keyword Spotting）（2）
LJJ_12的博客
09-03 1269
目录 Convolutional neural networks for small-footprint keyword spotting Abstract Introduction Keyword Spotting Task CNN Architectures Experimental Details Convolutional neural networks for small-footprint keyword spotting Sainath, T. and Carolina P
基于kaldi训练唤醒词模型的一种方法
热门推荐
遇逆境、泰然处之
03-07 1万+
0. 前言 什么是唤醒？激活Google智能助手，你可以对手机说“Hey Google”或者“OK Google”，其他诸如阿里的天猫精灵智能音箱（天猫精灵）、京东的叮咚智能音箱（叮咚叮咚），百度语音助手（小度小度）等等，需要采用唤醒词才能激活设备，然后再对设备进行一系列控制语音输入，一方面减小了智能音箱执行错误操作的概率，另一方面也降低了整个设备的功耗。本文基于开源语音识别kaldi平...
关键词检测任务调研（Keyword Spotting）（4）
LJJ_12的博客
09-03 1372
目录 说明 Small-Footprint Keyword Spotting with Multi-Scale Temporal Convolution Abstract Introduction Method Experiment Conclusion 笔者发言 说明 本文是一些论文的简要，想了解具体内容可以下载原文进行阅读，若是读者对下面文章进行参考，请进行规范引用。 Small-Footprint Keyword Spotting with Multi-Scale Tem...
深度学习之基于Yolov7驾驶员疲劳检测系统
最新发布
2301_79809972的博客
05-17 1040
一、项目背景随着汽车保有量的不断增加，驾驶安全问题日益受到人们的关注。驾驶员疲劳驾驶是导致交通事故的重要原因之一。因此，开发一种能够实时监测驾驶员疲劳状态并提前发出预警的系统对于保障驾驶安全具有重要意义。近年来，深度学习技术特别是目标检测技术在计算机视觉领域取得了显著进展，为驾驶员疲劳检测提供了新的解决方案。本项目旨在利用YOLOv7算法，开发一个基于深度学习的驾驶员疲劳检测系统。二、项目目标。
有哪些轻量化的OCR模型
06-01
5. MobileOCR: 基于MobileNetV3的端到端OCR模型，它在移动设备上可以实现高效的文本检测和识别。 这些模型都可以在移动设备等资源受限的环境中进行部署，具有较小的模型体积和较快的推理速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值