方法1:取平均
方法2:用LSTM/Transformer给时间序列提特征
在Transformer出来之前,LSTM可以给时间序列提特征,2017年Transformer横扫了NLP之后,它也能处理时间序列特征了!
方法3:Tight Type早期融合特征
其它特征和时间序列一块儿扔给Transformer去提取特征
参考教程
CLIP论文串讲(下)——CLIP4clip:https://www.bilibili.com/video/BV1gg411U7n4/?spm_id_from=pageDriver&vd_source=1565223f5f03f44f5674538ab582448c
论文原文:CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval
arXiv链接:https://arxiv.org/abs/2104.08860
Interesting
非常有趣的是,论文原文中的实验中方法1在大部分情况下取得最好的效果,方法2有时候效果最好,方法3完全不行