↑↑↑关注后"星标"Datawhale
每日干货 & 每月组队学习,不错过
Datawhale干货
作者:张海腾,标贝科技,Datawhale优秀学习者
作为智能语音交互相关的从业者,今天以天池学习赛:《零基础入门语音识别:食物声音识别》为例,带大家梳理一些自动语音识别技术(ASR)关的知识,同时给出线上可运行的完整代码实践,供大家练习。
实践背景
赛题名称:零基础入门语音识别-食物声音识别
实践地址:(文末阅读全文或复制链接)https://tianchi.aliyun.com/competition/entrance/531887/information
语音相关知识点梳理
一些在我司常听到的关键词
语音不像文本,可以看得见,仅有对应的音频,需要对语音有一个“可以看见”的过程,于是有了下列的几种音频文件的表示方法:
1)波形图
语音的保存形式可用波形图展现,可以看作是上下摆动的数字序列,每一秒的音频用16000个电压数值表示,采样率即为16kHz。
![](https://i-blog.csdnimg.cn/blog_migrate/2d64a349d330666c335665e7ef69f878.png)
2)采样点
采样点是对波形图的放大,可以看到的更细的单位
3)频谱图
可以变为频谱图,颜色代表频带能量大小,语音的傅立叶变换是按帧进行,短的窗口有着高时域和低频域,长时窗口有低时域和高频域。
4)基本单位
对于语音而言,基本单位是帧(对应文本的token),一帧即是一个向量,整条语音可以表示为以帧为单位的向量组。帧是由ASR的前端声学特征提取模块产生,提取的技术设计“离散傅立叶变换”和”梅尔滤波器组“
整体解决思路
在我的理解认知中,对于ASR的解决方法可以分为两种,一种是声学模型加语言模型的组合,另外一种是端到端的解决方式。
![](https://i-blog.csdnimg.cn/blog_migrate/40ce354a3e8bd108a7bf8bf38d1f03a3.png)
第一种方式:
路线的个人理解大约是,有一个音频,先有声学模型,将对应的音频信号处理为对应的声学特征,再有语言模型,将声学特征的结果得到概率最大的输出字符串。
在上图中,
代表的是声学特征向量,