大象声科在联想YOGA Pro 14s的方案概要和 intel GAN初见

最新推荐文章于 2022-05-23 11:00:04 发布

danteliujie

最新推荐文章于 2022-05-23 11:00:04 发布

阅读量1.4k

点赞数 3

分类专栏：音频框架

本文链接：https://blog.csdn.net/danteLiujie/article/details/110468920

版权

音频框架专栏收录该内容

20 篇文章 16 订阅

订阅专栏

在联想联想高阶旗舰品牌YOGA Pro 14s (YOGA Slim 9i)上搭载了大象声科Vocplus PC AI语音方案，据该方案这是一套集成在Intel GNA人工智慧加速平台上基于深度学习技术，能够即时分离人声和背景杂讯，提取清晰人声，从而大幅度提升使用者语音通信清晰度和语音交互体验。

该方案基于计算听觉场景分析理论基础，利用深度神经网路(DNN)，经大量资料训练，可以即时分离人声和环境噪音, 能够过滤掉96%的动态噪音。

此外，此方案能够有效提升Cortana, Alexa等语音助手在杂讯环境下的语音辨识率，该方案已通过Microsoft Teams认证，Cortana以及Amazon Alexa相关语音测试标准。

Intel GNA 笔记

根据: https://docs.openvinotoolkit.org/latest/openvino_docs_IE_DG_supported_plugins_GNA.html

Intel GNA (英特尔®高斯与神经网络加速器)是一种低功耗神经网络协处理器，可在进行连续边缘推理(根据现场数据搜集可操作性的情报)。

什么是边缘推理？

总之，它使现场数据收集设备能够使用人工智能（AI）技术提供可操作的情报。这些类型的设备使用大量传感器，并且随着时间的流逝，这些传感器的分辨率和准确性已得到极大提高，导致捕获的数据量越来越大。从历史上看，此数据随后是通过手动过程提取和分析的，最近又通过将AI与训练有素的神经网络一起使用进行提取和分析。现在可以提供足够的计算能力，以便在数据捕获时运行优化的AI模型，这被称为“边缘推理”。在某些国防，勘探和安全应用中，这具有加速OODA的优势。循环，以便可以更快地采取措施。由于数据保存在本地设备上，因此还提高了安全性。

英特尔®GNA不能替代传统的推理设备，例如CPU，图形处理单元（GPU）或视觉处理单元（VPU）。它旨在减轻连续推理工作量的负担，这些工作量包括但不限于降噪或语音识别，以节省功耗并释放CPU资源。

GNA插件提供了一种在Intel®GNA上以及在CPU上的软件执行模式下运行推理的方法。

包含Intel® GNA插件的设备很多:

Intel® Speech Enabling Developer Kit
Amazon Alexa* Premium Far-Field Developer Kit
Gemini Lake, Cannon Lake, Ice Lake:系列CPU中的多款产品

其驱动已经在windows和unbuntu18.04.3LTS上支持

模型和图层限制

由于硬件体系结构的特殊性，英特尔®GNA对神经网络层和组合的支持有限。例如，不用考虑在GNA插件上运行计算机视觉模型，除了专门为GNA插件改编的模型之外，因为他不完全支持2D卷积。

可以在https://docs.openvinotoolkit.org/latest/openvino_docs_IE_DG_supported_plugins_Supported_Devices.html中的“受支持图层(Supported Layers)”看到支持列表。

从Kaldi和TensorFlow转换过来的模型中, 只原生支持一维卷积：
对于TensorFlow模型，在运行模型优化器时必须使用--disable_nhwc_to_nchw选项。
卷积的输出通道数必须是4的倍数
置换层支持限于以下情况：不需要数据重新排序，或者在2维发生重新排序时，其中至少一个维数不大于8。
只支持有限的激活函数.