【2D-TAN论文学习】

对于1d卷积的一些理解

1d卷积相当于线性层，可以对特征进行降维，卷积核的通道数和特征的通道数是一致的，根据卷积核的数量可以生成对应数量的通道，相当于将多个通道的特征放一块进行组合，然后再生成卷积核数量的特征。

卷积的dilation参数

用于指定卷积核内部元素的间隔（跨度）大小。

感受野

网络层输出的特征图中的单个元素映射回原始输入特征中的区域大小

C层相对与B的感受野是（3，3），C层的感受野是（7，7）

该论文解决的难点

① 首先是是解决again，以前的方法都是分别考虑不同的候选距，而忽略了不同候选距之间的时间依赖性
② 多个候选距包含真实距，但不同的候选距表示不同的意思，视觉上相似的距难以区分

论文的Pipline

Language 编码

通过GloVe embedding然后再经过3层LSTM，最终变成ds维的向量。

Video 编码

输入是原始的视频，由帧组成，首先将原始视频分成N个T帧的clips，之后通过对每个clip使用预训练的CNN模型最终每个clip变成dv维的向量，然后是候选特征，每一个候选距对应的视觉候选特征有两种方法，池化和堆叠卷积，这里用的是池化。

稀疏采样策略( sparse sampling strategy )

二维图上的每个点表示一个候选距，对该图进行稀疏采样，关键思想是去除与所选候选点有较大重叠的冗余矩，如下图所示

下三角的区域是无效的，上三角区域中的蓝点表示的是候选距，具体的采样策略根据下边的式子

当G（a，b）=1的时候就选用该候选距， ceil 函数是向上取整，mod是取余。

多模态融合

fs和Fm分别表示查询编码和2D temporal feature map。1T表示的是一个全1向量的转置外边的|| ||F表示的是Frobenius normalization（归一化）之后再将得到的F经过卷积核为K的L层卷积，之后通过全连接层和sigmoid层得到每个候选距的分数。

他这里的卷积卷的是什么

论文中讲通过卷积可以学习到多个候选距之间的时间依赖。

损失函数

其中yi作为他的监督标签，通过真实距计算出Iou oi，然后通过阈值t min和t max进行缩放

二维图里边的每一个候选距都会用到，为什么要用yi等于这么奇怪的东西，为了当Iou值在最小和最大之间的时候最终模型预测的值应该是对应的概率而不是单纯最大和最小。

消融实验

这个实验表明我们提出的二维距是有效的。