张海腾：语音识别实践教程

最新推荐文章于 2022-06-21 12:10:19 发布
最新推荐文章于 2022-06-21 12:10:19 发布
阅读量557 收藏 2
点赞数
文章标签： 人工智能 深度学习 机器学习 tensorflow 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Datawhale/article/details/116549043
版权
本文介绍了语音识别的基础知识，包括波形图、采样点、频谱图和基本单位。作者通过天池比赛实例讲解了ASR的解决思路，涉及声学模型、语言模型、解码器以及端到端方法。提供了完整的实践代码，使用CNN对梅尔谱特征进行建模预测。
摘要由CSDN通过智能技术生成

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

作者：张海腾，标贝科技，Datawhale优秀学习者

作为智能语音交互相关的从业者，今天以天池学习赛：《零基础入门语音识别：食物声音识别》为例，带大家梳理一些自动语音识别技术（ASR）关的知识，同时给出线上可运行的完整代码实践，供大家练习。

实践背景

赛题名称：零基础入门语音识别-食物声音识别

实践地址：（文末阅读全文或复制链接）https://tianchi.aliyun.com/competition/entrance/531887/information

语音相关知识点梳理

一些在我司常听到的关键词

语音不像文本，可以看得见，仅有对应的音频，需要对语音有一个“可以看见”的过程，于是有了下列的几种音频文件的表示方法：

1）波形图

语音的保存形式可用波形图展现，可以看作是上下摆动的数字序列，每一秒的音频用16000个电压数值表示，采样率即为16kHz。


2）采样点

采样点是对波形图的放大，可以看到的更细的单位

3）频谱图

可以变为频谱图，颜色代表频带能量大小，语音的傅立叶变换是按帧进行，短的窗口有着高时域和低频域，长时窗口有低时域和高频域。

4）基本单位

对于语音而言，基本单位是帧（对应文本的token），一帧即是一个向量，整条语音可以表示为以帧为单位的向量组。帧是由ASR的前端声学特征提取模块产生，提取的技术设计“离散傅立叶变换”和”梅尔滤波器组“

整体解决思路

在我的理解认知中，对于ASR的解决方法可以分为两种，一种是声学模型加语言模型的组合，另外一种是端到端的解决方式。

第一种方式：
路线的个人理解大约是，有一个音频，先有声学模型，将对应的音频信号处理为对应的声学特征，再有语言模型，将声学特征的结果得到概率最大的输出字符串。
在上图中， 代表的是声学特征向量，

最低0.47元/天 解锁文章
Datawhale
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
语音识别(Speech Recognition) 原理与代码实例讲解
禅与计算机程序设计艺术
07-24 984
语音识别(Speech Recognition) - 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：语音识别
语音识别实践.pdf.zip_机器学习实践_识别模型_语音识别_语音识别pdf_语音识别算法
07-14
语音识别实践，介绍了多种语音识别模型，机器学习算法
语音识别实践——第6章总结1：
qq_14962179的博客
01-07 1165
1.DNN-HMM混合系统 [HMM对语音信号的序列特性进行建模，DNN对所有聚类后的状态（聚类后的三音素状态）的似然度进行建模。对时间上的不同点采用同样的DNN] HMM描述语音信号的动态变化，DNN估计输入特征的观测概率。在给定声学观察特征的条件下，用DNN的每个输出节点来估计连续密度HMM的某个状态的后验概率。 早期对上下文相关(音素状态绑定)的后验概率建模为： 或 Xt是t时刻的声学观...
Python语音识别基础实践-SpeechRecognition
BuLingLings的博客
11-05 3457
声明：参考B站视频，自学成长记录 https://www.bilibili.com/video/BV1Jk4y1R7a5?p=2 并参考博客：https://blog.csdn.net/Datapad/article/details/82970253 安装SpeechRecognition C:\Users\Administrator>pip3 install SpeechRecognition ...... Installing collected packages: SpeechRecogni.
《TensorFlow语音识别实战》简介
brucexia的专栏
01-17 2729
#好书推荐##好书奇遇季#《TensorFlow语音识别实战》，京东当当天猫都有发售。配套源码、PPT课件、数据集、开发环境与答疑服务。 自动语音识别（Automatic Speech Recognition，ASR）简称为语音识别，是目前科学界、互联网界和工业界研究的一大技术热点及重点方向，也是很有前途和广阔发展空间的一大新兴技术领域。语音识别可以看成一种广义的自然语言处理技术，目的是辅助人与人之间、人与机器之间更有效的交流。语音识别目前已经应用在人们生活中的各个方面，常用的有文字转语音、语音转文字
AISHELL-1 语音识别实战
weixin_48827824的博客
06-21 3182
语音之家-AI工匠学堂推出《AISHELL-1 语音识别实战》课程， 本课程涵盖语音信号基础、声学模型、语言模型、WFST解码器等经典知识，理论介绍力求深入浅出，容易理解，让学员快速入门，掌握语音识别关键技术；实践部分基于Kaldi，详细介绍GMM-HMM、DNN-HMM、Chain模型的训练过程，带你从0到1搭建第一个中文ASR项目。本课程覆盖AISHELL-2的大数据训练建模进阶实战，从理论到实践，打破门槛，带你快速上手。...
海腾达对讲机写频软件Setup v1.15.zip
01-12
海腾达对讲机写频软件Setup v1.15.zip是一个用于管理海腾达对讲机频率设置的工具包。这个压缩文件包含了主要的执行程序“海腾达Setup v1.15.exe”，它是软件安装程序，用户可以通过运行这个程序在计算机上安装海腾达...
海腾留言簿程序 v6.2.5.0企业多用户
03-22
1).提供最新动态支付宝表情. 2).提供有声版/无声版供你选择 3).提供简繁体转换 4).可线上QQ聊天 5).显示主人自己的信息 6).显示所有注册用户.便与联系 管理用户名:admin ...免费·绿色·高速·稳定...................
深入浅出 Runtime（二）：数据结构
weixin_42350379的博客
02-25 308
Runtime 系列文章 深入浅出 Runtime（一）：初识 深入浅出 Runtime（二）：数据结构 深入浅出 Runtime（三）：objc_msgSend方法调用流程 深入浅出 Runtime（四）：super的本质 深入浅出 Runtime（五）：具体应用 深入浅出 Runtime（六）：相关面试题 1. objc_object Objective-C的面向对象都是基于C/C++的数据结...
iOS - 多线程（三）：GCD
weixin_42350379的博客
02-28 400
iOS - 多线程 系列文章 iOS - 多线程（一）：初识 iOS - 多线程（二）：pthread、NSThread iOS - 多线程（三）：GCD iOS - 多线程（四）：NSOperation iOS - 多线程（五）：线程同步方案 1. GCD 初识 1.1 GCD 介绍 全称是 Grand Central Dispatch，也简称 Dispatch； 纯 C 语言，提供了非常多...
解析深度学习：语音识别实践
07-02
1 简介1 1.1 自动语音识别：更好的沟通之桥 1 1.1.1 人类之间的交流 2 1.1.2 人机交流 2 1.2 语音识别系统的基本结构 4 1.3 全书结构 6 1.3.1 第一部分：传统声学模型6 1.3.2 第二部分：深度神经网络6 1.3.3 第三部分：语音识别中的DNN-HMM 混合系统7 1.3.4 第四部分：深度神经网络中的特征表示学习 7 1.3.5 第五部分：高级的深度模型 7 第一部分传统声学模型9 2 混合高斯模型10 2.1 随机变量10 2.2 高斯分布和混合高斯随机变量11 2.3 参数估计13 2.4 采用混合高斯分布对语音特征建模 15 3 隐马尔可夫模型及其变体17 3.1 介绍17 3.2 马尔可夫链19 3.3 序列与模型 20 3.3.1 隐马尔可夫模型的性质21 3.3.2 隐马尔可夫模型的仿真22 3.3.3 隐马尔可夫模型似然度的计算22 3.3.4 计算似然度的高效算法24 3.3.5 前向与后向递归式的证明25 3.4 期望zui大化算法及其在学习HMM 参数中的应用 26 3.4.1 期望zui大化算法介绍 26 3.4.2 使用EM 算法来学习HMM 参数——Baum-Welch 算法 28 3.5 用于解码HMM 状态序列的维特比算法32 3.5.1 动态规划和维特比算法32 3.5.2 用于解码HMM 状态的动态规划算法33 3.6 隐马尔可夫模型和生成语音识别模型的变体35 3.6.1 用于语音识别的GMM-HMM 模型 36 3.6.2 基于轨迹和隐藏动态模型的语音建模和识别37 3.6.3 使用生成模型HMM 及其变体解决语音识别问题 38 第二部分深度神经网络41 4 深度神经网络42 4.1 深度神经网络框架42 4.2 使用误差反向传播来进行参数训练 45 4.2.1 训练准则 45 4.2.2 训练算法46 4.3 实际应用50 4.3.1 数据预处理51 4.3.2 模型初始化52 4.3.3 权重衰减52 4.3.4 丢弃法 53 4.3.5 批量块大小的选择55 4.3.6 取样随机化56 4.3.7 惯性系数 57 4.3.8 学习率和停止准则58 4.3.9 网络结构59 4.3.10 可复现性与可重启性 59 5 高级模型初始化技术61 5.1 受限玻尔兹曼机61 5.1.1 受限玻尔兹曼机的属性63 5.1.2 受限玻尔兹曼机参数学习66 5.2 深度置信网络预训练 69 5.3 降噪自动编码器预训练71 5.4 鉴别性预训练74 5.5 混合预训练75 5.6 采用丢弃法的预训练 75 第三部分语音识别中的深度神经网络–隐马尔可夫混合模型77 6 深度神经网络–隐马尔可夫模型混合系统78 6.1 DNN-HMM 混合系统 78 6.1.1 结构78 6.1.2 用CD-DNN-HMM 解码80 6.1.3 CD-DNN-HMM 训练过程81 6.1.4 上下文窗口的影响83 6.2 CD-DNN-HMM 的关键模块及分析 85 6.2.1 进行比较和分析的数据集和实验85 6.2.2 对单音素或者三音素的状态进行建模 87 6.2.3 越深越好88 6.2.4 利用相邻的语音帧89 6.2.5 预训练 90 6.2.6 训练数据的标注质量的影响 90 6.2.7 调整转移概率 91 6.3 基于KL 距离的隐马尔可夫模型91 7 训练和解码的加速93 7.1 训练加速93 7.1.1 使用多GPU 流水线反向传播94 7.1.2 异步随机梯度下降97 7.1.3 增广拉格朗日算法及乘子方向交替算法100 7.1.4 减小模型规模 101 7.1.5 其他方法102 7.2 加速解码103 7.2.1 并行计算103 7.2.2 稀疏网络105 7.2.3 低秩近似107 7.2.4 用大尺寸DNN 训练小尺寸DNN108 7.2.5 多帧DNN 109 8 深度神经网络序列鉴别性训练111 8.1 序列鉴别性训练准则 111 8.1.1 zui大相互信息 112 8.1.2 增强型MMI 113 8.1.3 zui小音素错误/状态级zui小贝叶斯风险114 8.1.4 统一的公式115 8.2 具体实现中的考量116 8.2.1 词图产生116 8.2.2 词图补偿117 8.2.3 帧平滑 119 8.2.4 学习率调整119 8.2.5 训练准则选择 120 8.2.6 其他考量120 8.3 噪声对比估计 121 8.3.1 将概率密度估计问题转换为二分类设计问题121 8.3.2 拓展到未归一化的模型123 8.3.3 在深度学习网络训练中应用噪声对比估计算法 124 第四部分深度神经网络中的特征表示学习127 9 深度神经网络中的特征表示学习128 9.1 特征和分类器的联合学习128 9.2 特征层级129 9.3 使用随意输入特征的灵活性 133 9.4 特征的鲁棒性 134 9.4.1 对说话人变化的鲁棒性134 9.4.2 对环境变化的鲁棒性 135 9.5 对环境的鲁棒性137 9.5.1 对噪声的鲁棒性138 9.5.2 对语速变化的鲁棒性 140 9.6 缺乏严重信号失真情况下的推广能力141 10 深度神经网络和混合高斯模型的融合144 10.1 在GMM-HMM 系统中使用由DNN 衍生的特征144 10.1.1 使用Tandem 和瓶颈特征的GMM-HMM 模型144 10.1.2 DNN-HMM 混合系统与采用深度特征的GMM-HMM 系统的比较147 10.2 识别结果融合技术149 10.2.1 识别错误票选降低技术（ROVER） 149 10.2.2 分段条件随机场（SCARF） 151 10.2.3 zui小贝叶斯风险词图融合153 10.3 帧级别的声学分数融合153 10.4 多流语音识别 154 11 深度神经网络的自适应技术157 11.1 深度神经网络中的自适应问题157 11.2 线性变换159 11.2.1 线性输入网络.159 11.2.2 线性输出网络 159 11.3 线性隐层网络 161 11.4 保守训练162 11.4.1 L2 正则项163 11.4.2 KL 距离正则项163 11.4.3 减少每个说话人的模型开销 165 11.5 子空间方法167 11.5.1 通过主成分分析构建子空间 167 11.5.2 噪声感知、说话人感知及设备感知训练168 11.5.3 张量172 11.6 DNN 说话人自适应的效果172 11.6.1 基于KL 距离的正则化方法 173 11.6.2 说话人感知训练174 第五部分先进的深度学习模型177 12 深度神经网络中的表征共享和迁移178 12.1 多任务和迁移学习178 12.1.1 多任务学习 178 12.1.2 迁移学习180 12.2 多语言和跨语言语音识别180 12.2.1 基于Tandem 或瓶颈特征的跨语言语音识别181 12.2.2 共享隐层的多语言深度神经网络182 12.2.3 跨语言模型迁移185 12.3 语音识别中深度神经网络的多目标学习188 12.3.1 使用多任务学习的鲁棒语音识别188 12.3.2 使用多任务学习改善音素识别189 12.3.3 同时识别音素和字素（graphemes） 190 12.4 使用视听信息的鲁棒语音识别 190 13 循环神经网络及相关模型192 13.1 介绍192 13.2 基本循环神经网络中的状态-空间公式194 13.3 沿时反向传播学习算法195 13.3.1 zui小化目标函数 196 13.3.2 误差项的递归计算196 13.3.3 循环神经网络权重的更新197 13.4 一种用于学习循环神经网络的原始对偶技术199 13.4.1 循环神经网络学习的难点199 13.4.2 回声状态（Echo-State）性质及其充分条件 199 13.4.3 将循环神经网络的学习转化为带约束的优化问题 200 13.4.4 一种用于学习RNN 的原始对偶方法201 13.5 结合长短时记忆单元（LSTM）的循环神经网络203 13.5.1 动机与应用203 13.5.2 长短时记忆单元的神经元架构204 13.5.3 LSTM-RNN 的训练205 13.6 循环神经网络的对比分析205 13.6.1 信息流方向的对比：自上而下还是自下而上 206 13.6.2 信息表征的对比：集中式还是分布式208 13.6.3 解释能力的对比：隐含层推断还是端到端学习209 13.6.4 参数化方式的对比：吝啬参数集合还是大规模参数矩阵 209 13.6.5 模型学习方法的对比：变分推理还是梯度下降210 13.6.6 识别正确率的比较211 13.7 讨论212 14 计算型网络214 14.1 计算型网络214 14.2 前向计算215 14.3 模型训练 218 14.4 典型的计算节点222 14.4.1 无操作数的计算节点 223 14.4.2 含一个操作数的计算节点223 14.4.3 含两个操作数的计算节点228 14.4.4 用来计算统计量的计算节点类型235 14.5 卷积神经网络 236 14.6 循环连接 239 14.6.1 只在循环中一个接一个地处理样本240 14.6.2 同时处理多个句子242 14.6.3 创建任意的循环神经网络243 15 总结及未来研究方向245 15.1 路线图 245 15.1.1 语音识别中的深度神经网络启蒙245 15.1.2 深度神经网络训练和解码加速248 15.1.3 序列鉴别性训练248 15.1.4 特征处理249 15.1.5 自适应 250 15.1.6 多任务和迁移学习251 15.1.7 卷积神经网络 251 15.1.8 循环神经网络和长短时记忆神经网络251 15.1.9 其他深度模型 252 15.2 技术前沿和未来方向 252 15.2.1 技术前沿简析252 15.2.2 未来方向253
解析深度学习语音识别实践.pdf
04-04
《解析深度学习：语音识别实践》是首部介绍语音识别中深度学习技术细节的专著。全书首先概要介绍了传统语音识别理论和经典的深度神经网络核心算法。接着全面而深入地介绍了深度学习在语音识别中的应用，包括“深度神经网络-隐马尔可夫混合模型”的训练和优化，特征表示学习、模型融合、自适应，以及以循环神经网络为代表的若干先进深度学习技术。 作者：俞栋
解析深度学习 语音识别实践（扫描版）
12-11
解析深度学习 语音识别实践，之前搜索别人的资源，有许多都是需要付费或者资源不全的。所以自己花钱买了一本，现在有偿分享，希望大家能够通过阅读此书提升自己的能力。
深度学习-语音识别实战(Python)视频课程
05-16
基于深度学习的语音识别实战课程主要包括三部分内容： 1.经典论文算法讲解； 2.算法源码解读； 3.项目实战；
《语音识别入门教程》
10-19
本资料为中国科学院自动化所内部资料，介绍了语音识别研究的现状，基本方法，和发展趋势。
语音识别实践——加速解码
qq_14962179的博客
01-01 688
1.量化及并行计算技术 现代CPU通常支持低级的单指令多数据(single instruction multiple data,SIMD)指令级并行。 对隐藏层的激活值，权重，偏执值进行量化(quantization). 2.稀疏DNN 3.低秩分解技术—SVD 4.多帧DNN计算技术 ...
《解析深度学习：语音识别实践》.pdf
q6q6q的专栏
10-27 932
您所在位置：网站首页 > 海量文档&nbsp>&nbsp生活休闲&nbsp>&nbsp时政新闻《解析深度学习：语音识别实践》.pdf321页本文档一共被下载：次,您可全文免费在线阅读后下载本文档。 下载提示1.本站不保证该用户上传的文档完整性，不预览、不比对内容而直接下载产生的反悔问题本站不予受理。2.该文档所得收入(下载+内容+预览三)归上传者、原创者。3.登录后...
Python语音识别实践【百度AI平台】
DaveBobo的博客
04-25 1603
这几天想要用Python来体验一下语音识别技术，虽然我知道有很多开源免费的语音识别库，例如，CMU Sphinx，好像以前玩过，但只为了愉快地体验，这次选择百度AI平台来简单实践一下，后期再深入研究开源免费的语音识别库。 1 基础知识 打开百度智能云–>产品–>人工智能–>选择短语音识别–>立即使用–>创建应用。得到 创建完毕应用后，平台将会分配给开发者此应用的相关凭证，主要为AppID、API Key、Secret Key。以上三个信息是在应用实际开发的主要凭证。 说明：
海腾时代PDF编辑器V2.0：全面指南与功能详解
本PDF文件夹使用说明书详细介绍了"极速PDF编辑器"V2.0版本的功能和操作指南，由北京海腾时代科技有限公司提供版权。该软件旨在帮助用户高效地管理和编辑PDF文档，主要功能包括： 1. 常用功能： - 软件购买与激活：...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值