(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash

论文的贡献:
1.我们提出了一种新的无监督视频哈希框架,称为自监督时间哈希(ssth)。据我们所知,ssth是视频哈希的第一个原则性深层框架。它是一种优化的端到端方法,解决了传统视频散列方法中的各种弱点,例如对时间性质的无知以及对池、松弛和二值化的隔离。
2。我们开发了一个新的lstm变量,名为binary lstm(blstm),它是temporalaware散列函数的构建块。我们还开发了一个有效的反向传播规则,可以直接解决BLSTM的二进制优化问题,而不需要任何松弛。
3。对传统的一阶编码器译码器RNN[27,28]进行了改进,采用了正反阶帧重构的方法。我们的策略是一个新的无监督学习目标,更好地模拟数据的时间性质。

BSLTM 的每个节点构建如下:

在这里插入图片描述
其中 圆圈表示元素的乘法

每个节点图示:
在这里插入图片描述
因为增加了一个BatchNormal计算,所以BLSTM比LSTM得到的数据更去相关和平衡,如图:
在这里插入图片描述
网络的整个图形:
在这里插入图片描述
中间部分细化如下:
在这里插入图片描述
编码和解码都是两层结构
重建公式:
在这里插入图片描述
在这里插入图片描述
损失函数:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值