Deep Speaker: an End-to-End Neural Speaker Embedding System

于 2021-08-01 15:49:03 发布
阅读量296 收藏
点赞数
分类专栏： 声纹识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41048571/article/details/119298939
版权

实现流程：
在这里插入图片描述

Front Processing:
语音输入被转换为64维fbank，并且含有零均值与单位方差。

DNN：有两种DNN：
* ResCNN
* GRU

ResCNN:
在这里插入图片描述

GRU:
在这里插入图片描述

Average Sentence:
在这里插入图片描述

将帧级输入聚合为整段语音的输入

Affine:将其转换成512维的embedding。

计算相似度：
在这里插入图片描述

最后用triplet loss为目标进行训练

实验
使用softmax和交叉熵损失来预训练整个模型，即用一个classification layer来代替length normalization和triplet loss层。
在这里插入图片描述

可见与训练提高了模型准确率
在这里插入图片描述

可见实验结果很好，且ResCNN效果好于GRU。
在这里插入图片描述

将两种网络的score相加，可以看到表现得到了提升，其中score fusion表示把两个模型输出的cos score相加。
在这里插入图片描述

在文本无关的说话人验证任务上，训练数据集越大，模型的训练越充分，效果越好
在这里插入图片描述

deep speaker具有比较好的跨语言能力

java_crocodile
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文速递：Deep Speaker: an End-to-End Neural Speaker Embedding System
qq_34755941的博客
11-20 2478
百度端到端的声纹识别系统 源码：https://github.com/philipperemy/deep-speaker 论文：Deep Speaker: an End-to-End Neural Speaker Embedding System 数据：VoxCeleb：A large scale audio-visual dataset of human speech 摘要 我们提出了一个新的基于深度学习的speaker embedding系统-Deep Speaker，该系统将语音句子映射到一个超平面，
探索Deep-Speaker：语音识别与声音克隆的新境界
最新发布
gitblog_00098的博客
04-11 352
探索Deep-Speaker：语音识别与声音克隆的新境界 项目地址:https://gitcode.com/philipperemy/deep-speaker 项目简介 Deep-Speaker 是一个基于深度学习的开源项目，由Philippe Remy开发，它专注于语音识别、声音特征提取和声音克隆。借助该工具，你可以训练模型以识别特定人的声音，甚至可以将一个人的声音风格应用到新的音频片段中，实...
文献阅读：Deep Speaker: an End-to-End Neural Speaker Embedding System
Tristespirit的博客
04-26 817
论文 论文：Deep Speaker: an End-to-End Neural Speaker Embedding System 摘要   我们提出了Deep Speaker，一个神经说话人嵌入系统，它把语音映射到一个超球面上，使用余弦相似性来衡量说话人相似性。Deep Speaker产生的嵌入可以用于许多任务中，包括说话人验证、识别和聚类。我们在实验中使用ResCNN和GRU结构去提取声学特征，然后是均值池化产生话语级的说话人嵌入，训练中使用了基于余弦相似性的三元组损失。在三个不同数据集上的实验表明
Deep-Speaker:实施论文“深度演讲者
05-12
链接到研究文章： : 标题：深度演讲者：端到端神经演讲者嵌入系统 框架：以Tensorflow为后端的Keras 论文中使用的数据集：UID，XiaoDu，MTurk（无在线可用）我的实现中使用的数据集：LibriSpeech 链接到数据集： : （由于数据集大于10GB，所以我未包括该数据集）训练了251位扬声器的模型 卷积模型的最低损失：1.23循环模型的最低损失：1.34 Softmax预训练和三重态损失：尚未合并 文件列表： input.py-包括读取音频文件，预处理和加载三重批以供模型输入 conv_model.py-卷积Resnet网络实现 recurrent_model.py-GRU网络实现 Pretraining.py-模型的Softmax预训练Triplet_loss.py-网络三重损失的实现 要完成的更正/要添加的修改： 批处理大小：尽管三元组丢失趋向
百度端到端说话人识别系统 Deep Speaker 详细介绍
牧码杭城
12-31 6435
Deep Speaker 详细介绍0、补充知识神经网络：卷积层：1、Deep Speaker 介绍2、ResCNN 网络结构分析ResBlock：ResCNN：一层一层的来看：解释下 dim 维度这一列3、Triplet Loss 前言：百度端到端说话人识别系统 Deep Speaker : an End-to-End Neural Speaker Embedding System，论文学习整理一...
SoundStream端到端神经音频编解码器_SoundStream An End-to-End Neural Audio Co
01-18
SoundStream端到端神经音频编解码器_SoundStream An End-to-End Neural Audio Codec.pdf
End-to-End Task-Completion Neural Dialogue Systems
09-10
Our experiments in a movie-ticket book- ing domain show that our end-to-end sys- tem not only outperforms modularized di- alogue system baselines for both objective and subjective evaluation, but ...
ATOMNAS FINE-GRAINED END-TO-END NEURAL ARCHITECTURE SEARCH
06-02
计算机视觉Github开源论文
【10】Towards End-to-End Speech Recognitionwith Recurrent Neural Networks.pdf
08-26
of the deep bidirectional LSTM recurrent neural network architecture and the Connectionist Temporal Classification objective function. A modification to the objective function is introduced that ...
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and
12-20
CRNN论文
Deep_Speaker-speaker_recognition_system:Keras实现``Deep Speaker
03-11
深度演讲者：演讲者识别系统 数据集： 参考文件：参考代码： : （感谢PhilippeRémy） 此代码在librispeech-train-clean数据集上进行了培训，并在librispeech-test-clean数据集上进行了测试。 在我的代码中，librispeech数据集显示CNN模型的EER约为5％。 关于守则 train.py 这是主文件，包含训练，评估和保存模型功能models.py 用于实验的神经网络。 该文件包含三个模型，CNN模型（与本文的CNN相同），GRU模型（与本文的GRU相同）和simple_cnn模型。 simple_cnn模型的性能与原始CNN模型相似，但是训练参数的数量从24M下降到7M。 select_batch.py 选择最佳的网络批处理供稿。 这是该实验的核心之一。 triplet_loss.py 这是用于计算网络训练的三重态损失的代码。
IS Speaker
07-03
很强大的语音软件，效果很好
Deep Speaker笔记
Suan2014的博客
04-03 1144
结构图及解析 输入：每个miniBatch的数据格式为（N, C, H, W），N为batch_size， C为通道数，此处的数目为3，顺序为delta2 delta1 fbank， H文章中为时间帧数，该参数是可变的，但是在每个miniBatch中是一样的， W为每帧的特征数目，文章中取值为64。 Deep architecture: ResCNN dim参数的理解请参照图下边的蓝色注释，...
百度声纹识别论文deep speaker介绍
Lauyeed的博客
05-03 7104
这篇文章介绍一下百度的声纹识别论文：Deep speaker: an End-to-End Neural Speaker Embedding System其基本架构如图1所示                                                    图1  Deep speaker基本架构一段语音经过前端处理，做VAD，提取64维的fbank系数作为声学特征；然后将该特...
Deep Speaker说话人识别系统笔记
Seaunity的博客
12-10 743
这篇文章是对End-to-end text-dependent speaker verification.和Neural Network-Based Speaker Embeddings for EndTo-End Speaker Verification.这两篇文章的思想进一步改进的。 Deep Speaker的思想是将说话人语音特征映射到一个超平面，通过余弦相似度来测量说话人的相似度 首先...
【工程】深度说话人的应用及声纹识别系统的制作 (附完整代码与数据集)
热门推荐
欢迎来到最优秀的博客
04-29 1万+
说话人识别系统 (又称声纹识别系统) 论文: 本博客是基于百度的论文Deep Speaker: an End-to-End Neural Speaker Embedding System 的理论上进行实现的: https://arxiv.org/pdf/1705.02304.pdf 另外参考了一篇Github的代码。 感谢！ 效果演示: 视频地址: 1. 数据集和整体流程架构 数据集 数据集使......
【开发日记】Deep speaker之ResCNN Input结构
Lauyeed的博客
04-14 4764
Deep speaker这篇文章有很多细节没有描述，加上没有官方的源代码，导致要实现很难。这篇文章主要是写一下ResCNN Input的结构，这个应该是很多人迷惑的地方。由于一开始没有经验，因此代码是参考github上的开源代码：https://github.com/philipperemy/deep-speaker因此思路一直被这篇代码的结构给困住了，其实RecCNN的Input和这个开源代码有...
《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》的摘要
03-07
DeepFM 是一种基于因式分解机的神经网络，用于点击率预测。它将因式分解机和神经网络结合起来，以利用它们各自的优点。DeepFM 可以在大规模数据集上进行训练，并且在点击率预测任务上具有很高的准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值