每日一篇小论文 ---- Attentive Statistics Pooling for Deep Speaker Embedding

最新推荐文章于 2024-07-12 15:56:37 发布
最新推荐文章于 2024-07-12 15:56:37 发布
阅读量4.6k 收藏 24
点赞数 6
文章标签： deep learning sv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/simsimiztz/article/details/89509110
版权
本文介绍了一种在说话人验证中的深度说话人嵌入方法——注意力统计池化。传统方法使用平均值来表征说话人的特征，而该方法引入注意力机制，为不同帧赋予不同权重，同时计算加权平均值和标准偏差，从而更好地捕捉扬声器的长期变化。这种方法结合了统计池化和注意力机制，以提高特征表示的效率。
摘要由CSDN通过智能技术生成

@每日一篇小论文----arXiv:1803.10963v2

attentive statistic pooling

本文提出了在与文本无关的说话人验证中深度说话人嵌入的细心统计汇总。 在传统的扬声器嵌入中，帧级特征在单个话语的所有帧上被平均以形成话语级特征。 我们的方法利用注意机制为不同的帧提供不同的权重，并且不仅生成加权平均值而且生成加权标准偏差。 通过这种方式，它可以更有效地捕捉扬声器特性的长期变化。
在这里插入图片描述

核心思想

在statistic pooling中加入attention机制.

stattistic pooling

统计汇总层计算平均向量μ以及二阶统计量作为帧级特征 h t h_t ht​(t = 1,…,T）上的标准偏差向量σ。将其作为pooling层的输出，用以之后的全连接层。

均值： μ = 1 T ∑ t T h t \boldsymbol{\mu}=\frac{1}{T} \sum_{t}^{T} \boldsymbol{h}_{t} μ=T1​∑tT​ht​

标准差： σ = 1 T ∑ t T h t ⊙ h t − μ ⊙ μ \sigma=\sqrt{\frac{1}{T}\sum_{t}^{T} \boldsymbol{h}_{t} \odot \boldsymbol{h}_{t}-\boldsymbol{\mu} \odot \boldsymbol{\mu}} σ=T1​∑tT​ht​⊙ht

最低0.47元/天 解锁文章
simsimiQAQ
关注
  • 6
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
spatio-attentive-graphs:PyTorch正式实施，用于我们的论文“用于人-物体交互检测的时空注意图”
03-20
警告：该回购协议目前正在进行重大重组。列出的超参数不会导致最佳性能 论文PyTorch官方实现 引文 如果您发现此存储库对您的...使用git clone https://github.com/fredzzhang/spatio-attentive-graphs下载存储库 安装
深度说话人嵌入关于注意力模型中的统计池
weixin_38858860的博客
11-22 2774
Attentive Statistics Pooling for Deep Speaker Embedding   摘要 本文提出了在与文本无关的说话人验证中深度说话人嵌入的细心统计汇总。在传统的扬声器嵌入中，帧级特征被用于单个话语的所有帧以形成话语级特征。我们的方法利用注意机制为不同的帧提供不同的权重，不仅生成加权平均值，还生成加权标准差。通过这种方式，它可以更有效地捕捉说话人特征的长期变...
语音中pooling总结（转载）
qq_35576225的博客
11-11 466
声纹识别中pooling总结_Mr.Gao的博客-CSDN博客 1、Statistics Pooling http://danielpovey.com/files/2017_interspeech_embeddings.pdf The statistics pooling layer calculates the mean vector µ as well as the second-order statistics as the standard deviation vector σ ove.
ASP 论文阅读：Attentive Statistics Pooling for Deep Speaker Embedding
最新发布
axyzstra 的博客
07-12 597
在传统说话人识别中，是对整个帧进行平均；在本文中，为不同的帧赋予不同的权重；最终生成加权平均值和加权标准差；这样可以捕捉说话人特征的长期变化。
ASP(Attentive Statistics Pooling for Deep Speaker Embedding)
qq_41048571的博客
08-01 2004
本文使用注意力机制赋予不同的帧不同的权重，并且同时生成加权平均数、加权标准差。 实现流程 网络结构 Pooling layer将变长的frame-level features转换为一个定长的向量。 Statistics pooling 取frame-level features的平均值与标准差 ⊙ 代表Hadamard product 标准差还包含了说话人在长时间语境中的时间变异特征。 Attention mechanism 在一段话中，往往某些帧的帧级特征比其他帧的特征更为独特重要，因此使用atten
Attentive Pooling Networks论文讲解
Matrix_cc的博客
03-10 3848
这篇论文是做是一个做问答对匹配的模型，在多个回答里选出正确的那个答案，整篇论文相对简单。 之前的问答对匹配模型是将CNN或者BiLSTM提取后的特征向量相互做余弦相似度，这篇论文的创新是加上了Attention层和使用不同的pooling层，column-wise max pooling和row-wise max pooling 之前的模型是 本篇论文的模型是 Q和 A是问...
声纹识别中pooling总结
Mr.Gao的博客
06-08 1743
1、 2、static pooing https://www.danielpovey.com/files/2018_icassp_xvectors.pdf 3、attativce pooling 4、
Pooling方法总结（语音识别）
二十年蝉电子学习博客
12-21 1679
Pooling layer将变长的frame-level features转换为一个定长的向量。在一段话中，往往某些帧的帧级特征比其他帧的特征更为独特重要，因此使用attention赋予每帧feature不同的权值。其中f(.)代表非线性变换，如tanh or ReLU function。最后将每帧特征加劝求和。
Structured-Self-Attentive-Sentence-Embedding:结构化自注意句子嵌入的TensorFlow实现
05-18
"Structured-Self-Attentive-Sentence-Embedding" 是一个深度学习模型，用于生成句子的向量表示，它基于TensorFlow框架实现。该模型的核心是引入了结构化的注意力机制，旨在更好地捕获句子内部的复杂结构信息。 **...
Dual-Attentive-Tree-aware-Embedding:日期
05-28
我们的KDD论文。 DATE是对非法贸易流进行分类和排名的模型，这些非法贸易流在被捕获时对整体海关收入的贡献最大。 DATE结合了基于树的可解释性模型和具有双重关注机制的事务级嵌入。 DATE同时从每笔交易的违法性...
Fine-Grained Recognition via Attribute-Guided Attentive Feature Aggregation
02-07
Fine-Grained Recognition via Attribute-Guided Attentive Feature Aggregation
基于PaddlePaddle实现声音分类
夜雨飘零
04-27 3551
本项目是基于PaddlePaddle的声音分类项目，旨在实现对各种环境声音、动物叫声和语种的识别。项目提供了多种声音分类模型，如EcapaTdnn、PANNS、ResNetSE、CAMPPlus和ERes2Net，以支持不同的应用场景。此外，项目还提供了常用的Urbansound8K数据集测试报告和一些方言数据集的下载和使用例子。用户可以根据自己的需求选择适合的模型和数据集，以实现更准确的声音分类。项目的应用场景广泛，可以用于室外的环境监测、野生动物保护、语音识别等领域。同时，项目也鼓励用户探索更多的使用场
基于Pytorch实现的声纹识别系统
夜雨飘零
08-20 4832
本项目使用了EcapaTdnn、ResNetSE、ERes2Net、CAM++等多种先进的声纹识别模型，不排除以后会支持更多模型，同时本项目也支持了MelSpectrogram、Spectrogram、MFCC、Fbank等多种数据预处理方法，使用了ArcFace Loss，ArcFace loss：Additive Angular Margin Loss（加性角度间隔损失函数），对应项目中的AAMLoss，对特征向量和权重归一化，对θ加上角度间隔m，角度间隔比余弦间隔在对角度的影响更加直接，除此之外，还支
声纹识别之说话人验证speaker verification
HUSTHY的博客
01-10 6386
由于工作需要接触到了语音领域的声纹识别，对语音识别进行了一些预研，因此在这里开一篇博客，聊一聊speaker verification学习历程。
基于Pytorch实现的声音分类
热门推荐
夜雨飘零
08-20 2万+
本项目是基于Pytorch的声音分类项目，旨在实现对各种环境声音、动物叫声和语种的识别。项目提供了多种声音分类模型，如EcapaTdnn、PANNS、ResNetSE、CAMPPlus和ERes2Net，以支持不同的应用场景。此外，项目还提供了常用的Urbansound8K数据集测试报告和一些方言数据集的下载和使用例子。用户可以根据自己的需求选择适合的模型和数据集，以实现更准确的声音分类。项目的应用场景广泛，可以用于室外的环境监测、野生动物保护、语音识别等领域。同时，项目也鼓励用户探索更多的使用场景，以推动
Serialized Multi-Layer Multi-Head Attention for Neural Speaker Embedding阅读笔记
weixin_43540533的博客
08-21 342
主要看模型方法 Abstract 提出一个串行多层多头注意力针对neural speaker embedding，之前是将一帧的特征聚集起来进行表示。我们提出利用堆叠式的self-attention机制的分层架构获得更精细的特征。串行注意力机制包含一堆self-attention模块，多层堆叠可以学出更多有区别的embedding。 1 Introduction 略 2 Attention in Neural Speaker Embedding Neural speaker embeddings是使用DNN
基于Pytorch实现的声纹识别模型
夜雨飘零
07-06 1万+
本章介绍如何使用Pytorch实现简单的声纹识别模型，本项目参考了人脸识别项目的做法Pytorch-MobileFaceNet,使用了ArcFace Loss，ArcFace loss：Additive Angular Margin Loss（加性角度间隔损失函数），对特征向量和权重归一化，对θ加上角度间隔m，角度间隔比余弦间隔在对角度的影响更加直接。
a structured self-attentive sentence embedding
03-16
结构化自注意力句子嵌入是一种用于将自然语言句子转换为向量表示的技术。它使用自注意力机制来捕捉句子中的重要信息，并将其编码为一个固定长度的向量。这种技术在自然语言处理中被广泛应用，例如文本分类、情感分析和机器翻译等领域。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值