【开发日记】Deep Speaker 开发日记之Triplet选择

原创 2018年04月16日 18:58:41

Deep Speaker中,Triplet三元组的选择是很重要的。如果随机选择,会使收敛速度变慢,如果使用“hard-negative”,会得到次优的结果,也就是说apan的相似度一直接近1,如图1所示。因此FaceNet论文中建议使用“semi-hard-negative”,根据我做的实验来看,确实能起到作用,如图2所示,在使用了“semi-hard-negative”之后,an不在接近1,而且apan的相似度分离得越来越开(当然,这里还没有收敛,因此ap没有接近1

 

1

 

2

这里的hard-negative”是这样做的:在mini-batch中,保持ap对不变,对每一个ap对,从所有的negative中选择一个,使得an的相似度最高。这样可以使得训练加快收敛,但是会造成次优的结果,参考图1

semi-hard-negative”是这样做的:在mini-batch中,保持ap对不变,对每一个ap对,从所有的negative中选择一个,使得an的相似度尽可能高,但是必须小于相应的ap的相似度。这样可以避免an的相似度接近1。从实验的结果上来看,“semi-hard-negative”的效果还是很明显的。

不过deep speaker论文中没有使用“semi-hard-negative”,而是使用softmax和交叉熵进行预训练。

SAP 开发日记2SAP 开发日记2SAP 开发日记2SAP 开发日记2

  • 2010年09月19日 23:15
  • 1.83MB
  • 下载

j2ee_oa项目开发日记

  • 2011年05月22日 15:35
  • 405KB
  • 下载

(6)从零开始的操作系统开发日记

(听说这是个叫做日yue记geng的系列)前言:因为各种各样怠惰的原因,博客一直没更,不是我懒啦,是因为后面的课程发现一节课下来记录的东西并不多,想要存起来一口气写,结果拖到了现在,嗯,肯定不是我偷懒...
  • qq_24328101
  • qq_24328101
  • 2016-08-26 10:50:10
  • 455

开发日记 2017-02-06

网站参数设置 网站前端尽量引用系统参数,因为系统的参数可以在后台进行配置,相关参数说明如下: 1)website_title:网站标题应用方式如下: 例如网站的名称 : {{ cache('we...
  • Recoding127
  • Recoding127
  • 2017-02-06 10:15:05
  • 123

日记app-android软件

  • 2016年05月16日 10:44
  • 319KB
  • 下载

软件开发实习日记

  • 2013年03月25日 16:52
  • 39KB
  • 下载

基于Android的日记本的程序设计与开发

  • 2015年03月23日 18:49
  • 2.68MB
  • 下载

一个嵌入式工程师的stm32开发日记

  • 2014年01月29日 12:56
  • 1.97MB
  • 下载

微信开发整合日记(6)

微信公众号红包支付接口的使用 本篇介绍微信商户平台中的红包发送接口 1.准备阶段 需要一个开通了微信支付的公众号,并且在产品中心中开通微信红包功能,并且设置好基本设置,注意IP地址一定要是调用接口的服...
  • u012309389
  • u012309389
  • 2016-12-05 19:01:01
  • 407

Web前端学习日记1

博客,你好,从今天开始,我就会开始在你这里发表我的Web前端学习日记,请多多指教哦!       今天是从HTML基础学起,虽然说以前有上过类似的课程,但是还是学到了很多,最大的收益就是又掌握了很...
  • huangmeixiang502
  • huangmeixiang502
  • 2017-01-10 21:56:43
  • 467
收藏助手
不良信息举报
您举报文章:【开发日记】Deep Speaker 开发日记之Triplet选择
举报原因:
原因补充:

(最多只允许输入30个字)