Conformer_ 音频任务

已于 2022-04-12 09:58:10 修改
阅读量268 收藏
点赞数
分类专栏： # 神经网络模型结构 文章标签： conformer
于 2022-04-10 20:46:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chumingqian/article/details/124083053
版权

1. 当前提取音频特征的种类

请添加图片描述

  1. 其中使用 filter Bank output 作为输入特征的研究工作最多 ， 作为首选；

  2. Mel 系数的作为为第二；

  3. 语谱图和Mel sepctgram;

2. 音频 转为特征向量表示

请添加图片描述

请添加图片描述

3. 音频网络 - conformer

绝对位置编码，相对位置编码， 两者之间选择 选择相对位置编码；

  1. 将 tranformer 中的 FC 拆成两个部分，分别放在 上下 两个部位；

  2. 中间加入CNN 模块请添加图片描述

ZhengXinTang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyPI 官网下载 | conformer_rl-0.1.0-py3-none-any.whl
02-06
《PyPI官网下载：探索conformer_rl-0.1.0-py3-none-any.whl》 在Python的开发世界中，PyPI（Python Package Index）是不可或缺的一部分，它是Python开发者获取、分享和分发软件包的主要平台。本文将深入探讨PyPI上...
MFA-Conformer: Multi-scale Feature Aggregation Conformer forAutomatic Speaker Verification
weixin_45922730的博客
12-06 958
目录一、简介二、MFA-Conformer本文提出了一种基于Conformer的多尺度特征聚合 (MFA-Conformer)。MFA-Conformer的架构灵感来自于最近在语音识别和说话人验证方面的最先进模型。首先，我们引入了卷积子采样层来降低模型的计算成本。其次，我们采用融合了Transformers和CNNs的Conformer块，有效地捕捉全局和局部特征。最后，来自所有Conformer块的输出特征映射被连接起来，在最终池化之前聚合多尺度表示。 MFA-Conformer整体架构如上图所示。1、c
音频-视觉高效Conformer：稳健的语音识别新模型
最新发布
步子哥的博客
07-05 256
在公开可用的 Lip Reading Sentences 2 (LRS2) 和 Lip Reading Sentences 3 (LRS3) 数据集上进行的实验表明，使用音频和视觉模态可以更好地识别存在环境噪声的语音，并显著加快训练速度，在训练步骤减少 4 倍的情况下达到更低的 WER。然而，尽管在清晰的音频样本上表现出色，但在嘈杂的语音中，性能往往会下降。本文将介绍一种名为音频-视觉高效Conformer (AVEC) 的模型，该模型旨在提高语音识别的鲁棒性，尤其是在存在环境噪声的情况下。
SepFormer的学习
weixin_48186491的博客
10-09 789
...
Conformer（运用在WeNet中的理解与分析）
ldy007714的博客
09-28 5130
Conformer ASR WeNet
语音识别中的Transformer和Conformer（一）
weixin_41613529的博客
08-16 2911
Transormer讲解
MASR的V2版本Conformer训练超大数据集
01-29
MASR的V2版本训练Conformer模型文件，使用Fbank，Pytorch，训练数据为超大数据集，13000+小时。 源码地址：https://github.com/yeyupiaoling/MASR/tree/release/2.3.x
PPASR的V2版本Conformer训练超大数据集
11-11
PPASR的V2版本训练Conformer模型文件，使用Fbank，纯PaddlePaddle，训练数据为超大数据集，13000+小时。 源码地址：https://github.com/yeyupiaoling/PPASR/tree/release/2.4.x
VIT_VIF_Conformer.zip
08-17
在语音识别任务中，Conformer结构通常用于改善Transformer的性能，它结合了自注意力机制和卷积神经网络，使得模型既能捕捉到全局依赖，又能保持对局部特征的敏感性。Conformer结构的设计是为了更好地适应语音信号的...
Transformer中的相对位置编码(Relative Position Embedding)
chenf1995的博客
02-18 9736
本篇preview：回顾transformer中绝对位置编码（absolute position embedding）相对位置编码方法详解和公式推导相对位置编码代码实现 回顾transformer中绝对位置编码（absolute position embedding） 在transformer的实现中，所有的input tokens是无序的，是没法像RNN的方法一样学到token之间的位置顺序关系，但是自然语言一定是有语序在里面的，所以原始的transformer的代码实现里就提供了一种非常简单的位置编码，
相对位置编码 relative position encoding
qq_43733107的博客
09-27 5347
相对位置编码
Conformer ASR详解
yyp1998的博客
10-30 5270
Conformer: Convolution-augmented Transformer for Speech Recognition 论文地址：https://arxiv.org/abs/2005.08100 Conformer编码器 Conformer编码器的结构如下图左侧所示，其中每个Conformer块包含四个模块：分别是前馈模块，多头自注意力模块、卷积模块和另一个前馈模块。与右侧的Transformer编码器的结构相比，Conformer块的改变主要体现在两处：1.增加了卷积模块；2.将前馈模块分
conformer勘误（自用）
weixin_43968113的博客
03-29 181
这是因为傅里叶变换得到的频域信号是由实部和虚部组成的复数信号，而在语音信号处理中，我们通常更关注的是信号的能量，因此需要对复数频域信号取模长平方得到实数功率谱。预加重处理：通过对音频信号进行预加重处理，可以减小语音信号中低频成分对高频成分的影响，有助于提高语音信号的质量。Mel滤波器组：将功率谱通过一组 Mel 滤波器进行滤波，得到 Mel 频谱，可以使用 Python 中的 librosa 库中的。需要注意的是，不同的语音识别模型可能需要不同的预处理步骤，上述步骤也不一定都必须要使用。
语音论文阅读(Conformer：基于卷积增强的Transformer语音识别模型)
热门推荐
暮木的博客
12-13 1万+
论文： Conformer: Convolution-augmented Transformer for Speech Recognition 摘要： 讲了基于CNN和Transformer的语音识别模型表现比以RNN为基础的模型好，Transformer模型擅长捕获基于内容的全局交互，而CNN则有效地利用了局部特征。 本文工作：我们通过研究如何结合卷积神经网络和Transformer到一个模型，以参数有效的方式对音频序列的局部和全局相依性进行建模，从而实现了两个方面...
Conformer阅读笔记
weixin_44070509的博客
01-21 5777
论文：《Conformer: Convolution-augmented Transformer for Speech Recognition》
Conformer的几点笔记
程序的魅力
08-07 1559
Conformer是在Tranformer的基础上，引入CNN，来增强语音识别的效果。 我们已经了解了Transformer的大概结构，就是分为Encoder-Decoder架构。在Encoder部分包含6个block，每个block由self-attention和FFN两层网络组成。 Conformer只改变了Transformer的Encoder部分。 加入了Con卷积层，而且在Conformer block的前后两端都加入了FFN模块，且在每个模块上都引入残差。同时，self-attenti
Conformer代码讲解
qq_45752541的博客
08-31 2738
主要讲重点：CNN与transformer模块是怎么融合的 1.通用stem 输入图片卷积后为（b,256,56,56）。四倍下采样后为（b，384，14，14），再加上（1，384）维度的class_token成为（b， 197，384） for i in range(2, self.fin_stage): x, x_t = eval('self.conv_trans_' + str(i))(x, x_t) # 这里要重复2-12次，输入是特征图x（b,256,56,56）与tok
step by step 3000 3_Step-by-Step轻松上手：安桥Onkyo AV功放自动音场校正全攻略教程
weixin_39809168的博客
11-12 2347
〈事前准备〉驳线、热身、执环境要做好音效调校，事前的准备功夫都好重要，下面几项就是基本的准备措施，其实也是为了后面用收音麦做好准确的自动音场调校而做的准备：正确连接音响及扩音机第一步当然就是要做好基本的连接，将电源、音响、HDMI 线驳好，电视有扩音机的画面输出hao4k.cn，然后先可以看住画面，进入扩音机菜单来做调校同设定。前置、中置等音响驳返扩音机背前置、中置等的相应输出，红、黑线插返相应插...
conformer_streaming_fbank
01-25
conformer_streaming_fbank是一个语音特征提取器。它是基于Conformer模型的一种改进，用于从连续音频流中提取谱图特征。Conformer模型是一种在语音识别任务中表现出色的深度学习模型。 在传统的语音特征提取中，通常会使用固定长度的音频进行处理。然而，在实时在线语音识别或远程语音识别等应用中，我们需要处理连续的音频流。conformer_streaming_fbank就是为了满足这些需要而设计的。 conformer_streaming_fbank首先将输入音频流分割为多个小块，每个小块有固定长度。然后，它对每个小块进行谱图提取，得到对应的频谱特征。这里使用了fbank作为谱图特征提取的方法，因为fbank常用于语音识别中。 接下来，conformer_streaming_fbank通过堆叠Conformer模型的多个层来进一步处理特征序列。Conformer模型结合了Transformer和CNN的优点，能够学习长时间依赖关系和局部特征。这使得conformer_streaming_fbank在处理连续音频流时能够取得很好的效果。 最后，conformer_streaming_fbank输出的特征经过后续的语音识别模型，如CTC或Attention模型，用于进行语音识别任务。 总之，conformer_streaming_fbank是一种用于从连续音频流中提取谱图特征的工具，它基于Conformer模型，能够在实时在线语音识别等场景下发挥作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值