微软推出 Hierarchical Transformer 实现更高准确率的语音评测

于 2023-05-23 11:21:55 发布
阅读量1.2k 收藏 5
点赞数
分类专栏： 智能语音 文章标签： microsoft transformer 人工智能 语音识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48827824/article/details/130823450
版权

对于语言学习者来说，练习发音并获得及时准确的反馈，是提高口语水平的重要环节。多年来，微软一直深耕基于 Azure 认知服务的语音功能，不断优化语音评测[1]功能的底层技术，从准确率、流畅度、完整性和语音语调等方面，提供更实用的反馈，赋能教育行业，提升教与学水平。微软承诺发展“负责任的人工智能”，因此在设计和开发人工智能产品的过程中，始终恪守这一原则。本文将为大家介绍微软语音评测模型的整体架构，深入解析底层 Hierarchical Transformer 技术。

语音评测底层技术剖析

微软语音评测功能利用 Azure 神经网络语音合成（Azure Neural TTS）、Transformer[2]、有序回归[3]和 Hierarchical 架构提升了评测的准确率，并且获得了单词级别的准确性提升。与此同时，基于神经网络的 GOP[4]（goodness of pronunciation）方法在高质量的声学模型支持下，其表现与真人专业评测水平极为相近。Azure 语音识别（STT）经过大规模真实数据的训练，微软可以利用高质量的 GOP 特征来训练发音错误检测模型。

模型整体架构：攻克数据稀缺难题，模型 PPC 系数大幅提升

语音错误检测面临的主要挑战之一是难以获得高质量的标注数据。为了克服数据稀缺问题（包括正面样本和负面样本的不均衡），微软使用 Azure Neural TTS 生成训练数据，即模拟人类辨别发音错误的过程。在此基础上，使用增强数据进行预训练得到源模型，然后使用标注数据对源模型进行微调。此外，在数据标注阶段，聘请多名语言专家（LE, Langurage Expert）根据相同的评测体系，单独对数据进行标注。两个独立 LE 之间的皮尔逊相关系数[5]（Pearson Correlation Coefficients，PCC）必须大于给定的阈值，以保证标注质量。对于某些低资源区域，利用 Azure Neural TTS 强大的数据生成能力，同样可以采用这种两阶段建模方式提供支持。结合这些创新，模型在 SpeechOcean762 数据集[6]上的 PCC 从 0.5661 提高到 0.6562。

图1：语音错误检测系统架构

构建 Hierarchical Transformer：兼顾全文与单词级别语音评测

微软将来自于 Azure STT 系统声学模型的 Senone、音素和单词特征作为Hierarchical Transformer 模型的输入特征。Senone 信息用于检测细粒度的发音模式，自注意力机制重点聚焦于 Senone 和音素，而单词级别的特征则为当前单词评分提供全局视角（bird’s-eye view）。对齐块用于显式连接 Senone 和音素信息，让Transformer 理解它们之间的隐式关系。

对于单词级特征，模型中采用了单词后验分数、语句级信噪比（SNR）、时长、辅音和元音属性和统计信息等指标进行评测。音素特征比单词特征简单得多，仅包括音素得分和时长。而对于 Senone 特征，仅使用 Senone 分数和状态。通过这种精心设计的特征和模型架构，粗粒度和细粒度特征都将有助于 Transformer 对发音分数进行建模。

图2：发音错误检测Hierarchical Transformer总体框架

（a）Hierarchical Transformer 模型的结构（b）Transformer 块的详细信息（c）连接 senone 和音素信息的对齐块

引入有序回归，提升语句级别的流利性与准确性

微软在语音评测的准确率评估上进一步引入有序回归[7]（Ordinal Regression，OR），并在 SpeechOcean762 数据集验证了结果。

OR 在之前的研究工作中已用于语句级流利性及准确性的语音评测。与传统的机器学习任务相比，OR 表现得更好，因为它没有将语音评测任务当作分类或回归任务。OR 旨在预测比较样本之间的排序信息——也就是说，它对两个样本进行比较并判断哪一个更好。这种二元偏好测试比传统方法更容易、更快、且更准确。此外，打分本身就是一种在得分上的自然排序，这种二元偏好测试理论上也更符合人类的行为习惯。

为了与其他系统公平比较，微软在 SpeechOcean762 公开数据集上训练了一些模型，该数据集分别包含 2500 个标注良好的训练样本和评价样本。评价指标 PCC 赋予一个介于-1 和 1 之间的值，其中 0 表示无相关性。负值意味着预测与目标相反，正值意味着预测与目标一致。它用于衡量机器生成的评价分数与真人专家标记分数之间的相关性。数值接近 1 则表示强相关性。在 SpeechOcean762 数据集中，每个样本均由 5 名 LE 单独标记。之后针对所有 2500 个评价样本，每 2 名 LE 之间的 PCC 都进行平均，作为真人评分的校验。实验结果如图 3 所示，通过利用 OR，微软语音评测模型在与头部厂商的商业语音评测服务横向对比中取得了最佳成绩，而且在 PCC 指标上进一步缩小了与真人评测的差距。

图3：SpeechOcean762 数据集的实验结果

语音评测功能助力教与学，满足多元教学场景

目前，微软语音评测支持十七种语言和口音，包括英语（美国）、英语（英国）、英语（澳大利亚）、法语（法国）、西班牙语（西班牙）、西班牙语(墨西哥)、德语(德国)、中文（普通话）和日语（日本）的通用版，以及其它多种语言口音[8]的预览版。

同时，语音评测已集成在微软 Immersive Reader 的 Reading Coach[9]，作为教师助教提升教学效率；在微软 Teams 的 Speaker Progress[10]功能中，语音评测可以成为学生的陪练，助力学生提高外语朗读流畅性；PowerPoint Coach[11]能够在演练过程中向演讲者提供口语词汇的正确发音建议。

Berlitz[12]是全球领先的语言培训公司，通过使用 Azure 语音识别和语音评测功能提供平台产品，用户可以实时收到关于发音准确性和流畅度的详细反馈，随时随地灵活练习和完善他们的发音。全球语言学习社区 HelloTalk[13]将学习者与来自世界各地的母语用户联系起来，通过语音评测功能，学习者可以提升发音准确度，并在此过程中结交新朋友，更加沉浸于目标语言的文化中。 

此外，培生[14]的朗文英语插件通过语音评测为不同水平的学生提供个性化的等级测试功能和学习材料建议；印度教育科技公司BYJU[15]利用语音评测开发了英语语言应用（ELA），帮助学生以个性化的方式学习英语。

随着以 ChatGPT 为代表的大语言模型等前沿技术的逐步成熟，将为外语教学场景带来更多可能。未来，在确保隐私安全、合法合规且符合道德伦理的前提下，学生将有机会拥有更加个性化、沉浸式的陪练体验，教育机构则能为老师提供教学助理，因材施教。

图4：ChatGPT 与多种应用集成，将为教学方式带来更多可能

测试你的语音发音水准

你可以尝试使用微软 Azure 云账号和语音服务账号登录微软语音工作室[16]，无需编写程序即可体验口语评测功能，用更直观的交互界面评测语音流利程度和发音准确性。如果你没有账号，可以免费注册微软语音服务[17]。

以下更多资源能够帮助你将语音功能添加到语言学习应用中：

  • 阅读“语言学习”博客[18]，了解更多语音应用场景

  • 在 GitHub 上试用发音评价的演示版[19]和示例代码[20]

  • 发音评价：使用发音评价-Azure认知服务| Microsoft Learn[21]

  • 语音转文本：语音转文本概述-语音服务-Azure 认知服务|Microsoft Learn[22]

  • 文本转语音：文本转语音概述-语音服务-Azure 认知服务| Microsoft Learn[23]

  • 定制语音：自定义神经网络语音概述-语音服务-Azure认知服务| Microsoft Learn[24]

  • 联系我们获取反馈或功能：mspafeedback@microsoft.com

参考链接

[1]:https://learn.microsoft.com/zh-cn/azure/cognitive-services/speech-service/how-to-pronunciation-assessment?pivots=programming-language-csharp

[2]:https://arxiv.org/abs/1706.03762

[3]:https://arxiv.org/abs/2010.13339

[4]:https://www.sciencedirect.com/science/article/abs/pii/S0167639314001010

[5]:https://en.wikipedia.org/wiki/Pearson_correlation_coefficient

[6]:https://arxiv.org/pdf/2104.01378v2.pdf

[7]:https://ieeexplore.ieee.org/abstract/document/8682187

[8]:https://learn.microsoft.com/zh-cn/azure/cognitive-services/speech-service/language-support?tabs=pronunciation-assessment#speech-to-text

[9]:https://techcommunity.microsoft.com/t5/education-blog/reading-coach-in-immersive-reader-plus-new-features-coming-to/ba-p/3734079

[10]:https://learn.microsoft.com/en-us/training/educator-center/product-guides/reading-progress/

[11]:https://nam06.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.microsoft.com%2Fen-us%2Fmicrosoft-365%2Fblog%2F2021%2F03%2F17%2Fimprove-your-presenting-skills-with-additional-platforms-and-new-features-for-powerpoint-presenter-coach%2F&data=04%7C01%7CMa.Melissa%40microsoft.com%7C6e47e4f7a841403a79dd08d8ee6b254b%7C72f988bf86f141af91ab2d7cd011db47%7C1%7C0%7C637521492199781979%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C1000&sdata=yZ4BGASLPF9HAaQhi4sm6KtC%2Fr70RnWpF29K0t64j4Y%3D&reserved=0

[12]:https://www.berlitz.com/

[13]:https://customers.microsoft.com/en-us/story/1615006392710416983-hellotalk-azure-ai-education-china

[14]:https://customers.microsoft.com/en-us/story/1379625676815325642-pearson-education-azure-cognitive-services

[15]:https://byjus.com/global/

[16]:https://learn.microsoft.com/zh-cn/azure/cognitive-services/speech-service/speech-studio-overview

[17]:https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/overview#try-the-speech-service-for-free

[18]:https://github.com/Azure-Samples/Cognitive-Speech-TTS/tree/master/PronunciationAssessment/BrowserJS

[19]:https://github.com/Azure-Samples/Cognitive-Speech-TTS/tree/master/PronunciationAssessment/BrowserJS

[20]:https://github.com/Azure-Samples/cognitive-services-speech-sdk/blob/5b2aa44055b529ec3bd7c961efbe6a151f93ee5e/samples/csharp/sharedcontent/console/speech_recognition_samples.cs#L970

[21]:https://learn.microsoft.com/azure/cognitive-services/speech-service/how-to-pronunciation-assessment?pivots=programming-language-csharp

[22]:https://learn.microsoft.com/en-us/azure/cognitive-services/speech-service/speech-to-text

[23]:https://learn.microsoft.com/en-us/azure/cognitive-services/speech-service/text-to-speech

[24]:https://learn.microsoft.com/en-us/azure/cognitive-services/speech-service/custom-neural-voice

语音之家
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hierarchical Transformers for Multi-Document Summarization
北风吹过的秋
05-03 1251
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/YZsLAxC7haqdzlrG4rgnLw 《 Hierarchical Transformers for Multi-Document Summarization 》 爱丁堡大学信息学院语言认知与计算研究所(Yang Liu & Mirella Lapata) yang.liu2@ed.ac.ukmlap@inf.ed.ac.uk ...
Hierarchical Transformer Model for Scientific Named Entity Recognition 论文总结
yingdajun的博客
03-31 1736
Hierarchical Transformer Model for Scientific Named Entity Recognition 科学命名实体识别的层次变换模型 Github 地址: https://github.com/urchade/HNER 摘要: 命名实体识别是关系抽取、知识图构造等自然语言处理系统的重要组成部分。在这项工作中，我们提出了一种简单有效的命名实体识别方法。我们方法的主要思想是使用一个预先训练好的转换器（如BERT）对输入子词序列进行编码，然后，在子词表示中添加另一层转换器，
微软说话人识别工具箱(MSR Identity Toolbox)应用与实践教程
NonDay的博客
05-22 3149
微软说话人识别工具箱1 (MSR Identity Toolbox) 是由微软研究院开 源的声纹识别工具，使用 MATLAB 语言编写。主要包含了 GMM-UBM 和 I-Vector 两种声纹识别核心算法源代码以及说明文档，但是并不涉及特征提 取、语音端点检测 (Voice Activity Detection, VAD) 等内容，对于初学者 来说想要使用该工具箱训练自己的模型并建立起完...
HIPA: Hierarchical Patch Transformer for Single Image Super Resolution解读
qq_45807669的博客
04-13 2723
@[TOC] 解读2022年新作：HIPA: Hierarchical Patch Transformer for Single Image Super Resolution，效果超过SwinIR 提出背景 现在很多paper开始将Transformer用在SISR中，并且也取得了还算满意的效果。但是，由于大部分的视觉Transformer都是将图像划分成相同数量的、固定尺寸的patch，这就导致了在处理具有不同丰富度的纹理细节时，不能取得最优的效果。所以本文应运而生了HIPA，它是全新的Transfo
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 论文阅读笔记
read, note and comment papers
05-25 972
这是微软亚洲研究院的一篇文章 文章目的在于探索将transformer用在vision问题上的可能性，从而充分利用transformer建模长依赖的能力 把NLP模型用到cv上要解决的一个问题在于，NLP的注意单元大小是固定的，就是一个token，然而cv的注意单元大小不固定，可能是10x10个像素组成的区域，也可能是100x100个像素，也就是element scale variation。 此外还有一个问题在于，一张图片张像素的数量比NLP一个passage中的token数量要大得多，也就是re.
VulExplainer A Transformer-Based Hierarchical Distillation
最新发布
04-24
VulExplainer A Transformer-Based Hierarchical Distillation的笔记
Swin transformer
10-30
Swin Transformer 是一种层次化视觉 Transformer 模型，旨在解决将 Transformer 模型从语言领域应用到计算机视觉领域所面临的挑战，如视觉实体的度变化和像素分辨率高于文本中的单词等问题。该模型具有灵活性，可以...
Swin-Transformer（code and 论文）.zip
12-29
论文“Swin Transformer: Hierarchical Vision Transformer using Shifted Windows”详细阐述了Swin-Transformer的设计理念和实现方法。其中，关键创新点包括： 1. **层次结构**：Swin-Transformer采用了类似于CNN...
HierarchicalClustering:Java上的分层聚类算法实现
05-24
这是分层聚类的非常简单的实现，您可能在数据挖掘算法类中听说过。 如果您不熟悉它，请访问了解更多详情。 :) 执行 数据点存储在mPoints ，我们的目标是从中计算mClusters 。 为此，我们为所有成对的数据点保留距离...
Instance Distance 是 Hierarchical Navigable Small Worlds 论文的快速纯 Rust 实现
06-28
即时距离：快速 HNSW 索引Instance Distance 是 Malkov 和 Yashunin 的Hierarchical Navigable Small Worlds 论文的快速纯 Rust 实现，用于寻找近似最近邻。此实现为用于词向量索引的InstantDomainSearch.com后端...
Swin Transformer：Hierarchical Vision Transformer using Shifted Windows （论文阅读笔记）
weixin_40671425的博客
12-25 3863
swin transformer 是微软亚研院胡瀚老师与2021年提出，发表在ICCV上并获得best paper 和马尔奖。是基于transformer的backbone网络，屠榜各大视觉任务。 论文链接：https://arxiv.org/abs/2103.14030 代码链接：https://github.com/microsoft/Swin-Transformer 摘要 本文介绍了一种称为 Swin Transformer 的新视觉 Transformer，它可以作为计算机视觉的...
决策Transformer:通过序列建模的强化学习
zzh1464501547的博客
06-09 2320
决策Transformer:通过序列建模的强化学习 [Submitted on 2 Jun 2021] 关注人工智能学术前沿 回复 ：ts23 5秒免费获取论文pdf文档，及项目源码 摘要 我们引入了一个将强化学习(RL)抽象为序列建模问题的框架。这使我们能够利用Transformer体系结构的简单性和可伸缩性，以及诸如GPT-x和BERT等语言建模方面的相关经验。我们提出了决策Transformer，一个将RL问题转换为条件序列建模的体系结构。不同于之前的RL方法，它适合值函数或..
Swin Transformer : Hierarchical Vision Transformer using Shifted Windows
MengYa_Dream的博客
11-22 2382
论文地址 本文主要研究学习一种新的Transformer架构——Swin Transformer，其目的：新建一个通用架构 Transfoemer从NLP应用到CV领域存在以下几个挑战： 痛点：CV中视觉块的变化尺度大；图像像素的高分辨率；——动机 scale：视觉元素在规模上可能有很大的差异； High Resolution：像素级，更高分辨率，自注意力的计算复杂度是二次的。 本文：提出一个Hierarchical（分层）Transformer ，通过shifted windows（Swin.
CVPR2021 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
smile909的博客
03-27 815
动机 1、一个跨计算机视觉和自然语言处理的统一体系结构将有利于两个领域的研究，因为它将促进虚拟信号和文本信号的联合建模，并且两个领域的建模知识可以更深入地共享。 计算机视觉中的建模一直由卷积神经网络（CNNs）主导。自然语言处理(NLP)中的网络体系结构的发展走了一条不同的道路，今天流行的体系结构是Transformer。在这篇论文中，试图扩展Transformer的适用性，使其能够像NLP和CNN在视觉中的应用一样，成为计算机视觉的通用骨干网络。 2、从语言到视觉转换的挑战来自于这两个领域之间的差异，例如
语音识别数据集及性能评测指标WER
大章鱼有小学术之心的博客
06-30 5005
语音识别 LibriSpeech ASR corpus LibriSpeech 数据集 共将近1000个小时的数据集。分为clean和other两类。具体见链接。 WER评价指标 WER means " word error rate" 对于语音识别的预测结果，需要对此结果进行替换删除、插入某些词使之和标注词序列完全相同。修改的总词数比上标注词序列的个数即为WER，此项指标越低越好。具体计算公式...
Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows
qq_45122568的博客
05-16 9217
这篇文章使用和CNN类似的分层提取特征，来达到扩大感受野的效果。是一个特征提取的主干网络，backbone。分层特征提取，不断减小“feature map”的大小（token的数量）。关键部分是Shift window移动窗口（W-MSA、SW-MSA）ViT中使用不重叠的窗口，但是忽略了相邻窗口间的相关性，而Swin-T使用shfit windown移动（M/2）来弥补。但这样会引入很大的计算量，那么作者又提出了cyclic-shift 循环位移，保证计算量不变，但是这样的移动会使得相邻窗口间不相关的部.
即插即用系列 | Hierarchical Attention: 轻松助力点云Transformer解决小目标和局部特征问题
专注计算机视觉全栈知识分享
02-18 1290
即插即用系列 | Hierarchical Attention: 轻松助力点云Transformer解决小目标和局部特征问题
一个Hierarchical Attention神经网络的实现
热门推荐
triplemeng的博客
10-18 1万+
最近我突然有了一些富余的整块时间。于是我实现了一些有意思的论文的idea, 其中印象最深的还是《Hierarchical Attention Networks for Document Classification》。我把相关代码放到这里了： https://github.com/triplemeng/hierarchical-attention-model综述今天，基本上所有的NLP方面的应用，
Hierarchical Transformers for Multi-Document Summarization笔记
Tuka2000的博客
07-09 987
学习文本之间的潜在联系 一、导论 提到了wikisum，尽管wikisum向抽象多文档摘要迈出了重要的第一步，但是： 它仍然认为多个输入文档是连接的平面序列，不知道文档之间的层次结构和可能存在的关系。 选择搜索结果前10个，每个结果可能有重叠，用不同的方式表达同样的内容 作者强调文档间的图关系(PageRank？) 作者貌似要替换掉文档间的注意力机制计算 replacing inter-document attention with a graph-matrix computed b
Nested Hierarchical Transformer和Transformer算法区别
03-03
Nested Hierarchical Transformer（NHT）是一种基于Transformer的模型，用于处理具有层次结构的序列数据。与传统的Transformer相比，NHT在模型结构上进行了改进，以适应层次结构数据的建模需求。 区别如下： 1. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值