Gaze360代码解读

代码链接 :http://gaze360.csail.mit.edu

论文链接:https://paperswithcode.com/paper/gaze360-physically-unconstrained-gaze

Gaze360模型

注视是自然的连续信号。凝视注视和过渡产生一系列凝视方向。为了利用这一点,论文提出了一个基于视频的凝视跟踪模型使用双向长期短期记忆胶囊(LSTM),它提供了一种对序列进行建模的方法,其中一个元素的输出取决于过去和将来的输入。在该论文中,作者利用7个帧的序列来预测中心帧的视线。注意,仅包括单个中央框架的其他序列长度也是可能的。

上图说明了Gaze360模型的体系结构。卷积神经网络(主干)分别处理每个帧中的头部作物,该神经网络产生具有256维的高级特征。这些特征被馈送到具有两层的双向LSTM,这些LSTM消化前向和后向向量中的序列。最后,将这些向量连接起来并通过一个完全

评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值