在使用Transformer进行目标跟踪时,mask可以这样利用:
-
将mask作为额外的输入信号,把目标框区域和背景区域的特征进行拼接,然后输入到Transformer中。
-
在Transformer的self-attention模块中,通过mask将目标区域的特征进行聚合,背景区域进行抑制,增强对目标的关注。
-
在Transformer编码器的输出上,添加一个mask预测分支,与框坐标预测分支并行,用于预测目标的segmentation mask。
-
mask分支可以是一个简单的几层卷积网络,逐步上采样还原到输入图像大小,预测每个像素的目标概率。
-
也可以使用类似MaskFormer的结构,将Transformer编码器的输出经过Transformers decoder进一步精炼,然后预测mask。
-
利用mask分支的预测结果作为训练目标跟踪Transformer的辅助监督信号。
-
同时预测框坐标和mask,框坐标定位目标整体,mask精确提取目标边界。二者相互制约,提高鲁棒性。
-
在推理时,可以只使用框坐标进行跟踪,也可以结合mask进行细化,遮挡处理等。
在目标跟踪任务中,目标的遮挡mask可以通过以下几种方式获取:
-
人工标注 最精确的方法是人工逐帧标注目标的mask,但是成本非常高。通常只会在部分数据集的部分序列进行标注。
-
基于目标框的生成 可以根据目标框来生成一个粗糙的mask,例如框内填充正样本,框外填充负样本。简单快速但不够精确。
-
基于语义分割的生成 使用预训练好的语义分割模型,检测每个像素属于哪一类,然后根据目标的类别生成mask。质量依赖于分割模型。
-
运动分割 通过前后帧的运动信息,提取出移动的目标区域,进行聚类生成mask。质量不高,无法处理遮挡。
-
预测掩码的生成 训练一个掩码预测分支网络,让它在跟踪过程中预测目标的mask。可以自动学习mask信息。
-
跟踪时的online生成 在跟踪框架内部,增加mask预测模块,同时进行跟踪框预测和掩码生成。online更新mask。
-
跟踪结果的后处理 获得跟踪框坐标后,使用后处理算法优化mask,如马尔可夫随机场等。 综上,理想的mask应该结合多个方式,在线生成与优化,既考虑精度又考虑速度,融入跟踪框架。
根据之前给出的基于Vision Transformer的目标跟踪网络结构,其中使用掩码(mask)的生成方式可以分析如下:
-
该网络是一个单目标跟踪框架,所以mask是针对单个跟踪目标生成的。
-
网络使用Transformer encoder作为backbone,输出特征图作为heads的输入。
-
heads包含框坐标预测分支和mask预测分支。
-
mask分支可以是一个简单的上采样网络,例如几层反卷积或者像MaskFormer一样使用decoder。
-
该框架属于在线跟踪,所以mask应该是在跟踪过程中动态生成的。
-
每次输入一帧图像,backbone输出特征, heads同时预测目标框和mask。
-
mask这里可以Initialized from the predicted box coordinates using some simple method.
-
然后mask在后续跟踪过程中,被头部网络不断更新和优化,实现在线预测。
-
mask预测作为辅助监督信号,强化网络学习目标 Representation。
-
该框架使用在线生成和更新mask,既考虑速度,也提升网络特征表达能力。 综上,这种基于Transformer编码器的跟踪器,可以采用在线预测和更新掩码的方式,来提供额外的监督信号,增强网络跟踪鲁棒性。
在基于Vision Transformer的目标跟踪框架中,IOUnet是一个用于精确目标定位的模块,主要作用是:
-
IOUnet通常被加入到预测头(heads)模块中。
-
它以检测框的坐标(x,y,w,h)为输入,预测输出这个框与真值框的IoU。
-
IoU表示框的重合程度,范围在0到1之间,值越大表示预测越准确。
-
IOUnet包含一个小的多层全连接网络,输入是框坐标,输出是一个标量的IoU值。
-
IOUnet在训练时以真值IoU作为监督,学习预测IoU。
-
在推理时,IOUnet可以评估每个预测框的质量,提供一定的置信度。
-
跟踪框架可以根据IOUnet的输出对框进行筛选,删除IoU较低的框。
-
这样可以过滤掉一些低质量的跟踪框,提高框预测的精度。
-
IOUnet为跟踪框架增加了一个精度评价模块,可以发现一些漏检或误检的框。 综上所述,IOUnet是目标跟踪中常用的检测框质量评估模块,可有效提升基于Transformer的跟踪器定位精度。
在图像预处理中训练IOUnet的主要方法有:
-
构造训练集 构造一组输入图像和对应的真值标注框(ground truth boxes)。真值框可以由人工标注或其他方法获得。
-
数据增强 对训练集图像进行常用的数据增强操作,如裁剪、旋转、缩放、颜色变化等。增强对各种情况的适应性。
-
得到预测框 使用目标检测等方法对增强后的图像进行预测,得到一系列预测框。
-
计算IoU 计算每个预测框与对应的真值框的IoU,作为回归目标。
-
训练IOUnet 输入为预测框的坐标,输出回归到对应的IoU值。使用MSE、SmoothL1等损失函数。
-
优化IOUnet 调整网络结构,优化损失函数,提高预测IoU的能力。
-
应用 在图像处理流程中,使用IOUnet评估检测框质量,进行过滤等增强后处理,提升模型鲁棒性。
-
微调 可以在整个检测或跟踪模型中,将IOUnet作为子模块终端微调,提升其适应目标任务的能力。 综上,构建高质量训框数据集并与目标任务对齐是IOUnet训练的关键,它可以用于各种图像预处理与框操作的后处理增强。
-
目标框抖动可以获得更多样化的框,计算抖动后框和真值框的IoU作为IOUnet的训练目标。
-
感兴趣区域裁剪保留目标,可以减少背景对IOU计算的干扰。
-
数据增强能让网络接触更多变化,对提升IOUnet泛化能力很有帮助。
-
真值掩码精确标注目标区域,可以用于计算精细化的IoU,提供更好的回归目标。
-
这些操作都能提供更丰富的图像框数据,计算更准确的IoU作为监督信号,有利于IOUnet的训练。
-
预处理的图像经检测器预测,然后计算IoU训练IOUnet,形成了一个闭环。
-
数据增强策略要考虑检测器的适应能力,保证预测框质量。
-
经过同样的图像处理,IOUnet可以更适应检测器的特点。
-
目标框抖动:这一步只是对真值框做抖动,获得新的训练样本,与IOUnet无关。
-
感兴趣区域裁剪:这一步也仅仅是获取ROI区域,还没有用到IOUnet。
-
数据增强:对图像做变换,还是在数据准备阶段,未用到IOUnet。
-
计算掩码:根据真值框标注掩码,同样是在增强训练数据,不是用IOUnet。
-
以上步骤得到增强后的数据集,但都还是准备数据的过程。
-
如果要用IOUnet,那么需要后续的步骤: (1) 使用目标检测模型预测这些增强后的数据,得到一系列预测框。 (2) 计算预测框与真值框的IoU作为回归目标。 (3) 将预测框坐标作为输入,IoU作为标签,来训练IOUnet模型。
-
所以这些数据增强和预处理步骤是为使用IOUnet做准备,但都还未实际使用IOUnet。
-
IOUnet的使用需要基于检测器预测结果计算IoU,进行回归模型的训练。 综上,我重新理解了你的问题,目前这些步骤中还未涉及到IOUnet的实际使用。
vision Transformer
假设我们有一张图片,分辨率是256x256像素。我们可以将这张图片分割成16x16像素的小patch,一共256/16 = 16行,每行16个patch,那么总共会得到16x16=256个patch。 然后,对每一个16x16的patch,我们用一个全连接层(fc layer)来学习得到一个较低维的特征向量,比如长度是128的向量。
全连接层中的权重矩阵本质上是一个线性映射转换。具体来说:
-
假设输入层有256个神经元,输出层有128个神经元。
-
那么全连接层的权重矩阵大小是 128 x 256。
-
对输入层的256维输入向量做矩阵乘法,得到128维输出。
-
权重矩阵的数学属性决定了线性映射的转换方式。
-
通过训练,权重矩阵elements会逐渐调整,学习出合适的映射关系。
-
最终实现 256 维 patching 映射到 128 维特征表达。 所以全连接层依靠可训练的权重矩阵,实现高维到低维的线性映射转换。训练使权重矩阵逐步逼近最优映射。
flatten操作只是从概念上方便我们理解全连接层的工作原理,在实际的计算机运算中是没有显式执行flatten这一步骤的。全连接层接受输入并计算权重矩阵乘以输入加偏置的输出。输入可以是任意形状的多维数据,计算机会自动把输入展开成一个一维向量然后进行矩阵乘法运算。也就是说,计算机直接把多维输入数据按行或列顺序展开成一个一维向量,与矩阵乘法的权重矩阵进行运算。这个展开的过程对计算机来说是自动的,我们不需要专门写代码去执行flatten。所以flatten只是从概念上更容易理解全连接层的工作原理 - 把多维输入展平成一维,再进行矩阵乘法。但实际计算中计算机会自动完成这个过程,不需要我们专门实现flatten。总结一下,flatten不是全连接层运算的一个实际步骤,只是从逻辑上理解其工作原理的一个抽象过程。计算机会自动把多维输入展开来运算,不需要我们自己flatten。
在Vision Transformer中,全连接层权重矩阵的初始化通常有以下几种方法:
-
Xavier初始化:这是一种较常用的初始化方法,可以保持不同层间信息的流动,防止梯度消失或爆炸。
-
Kaiming初始化:这是针对ReLU激活函数的初始化方式,可以良好地保持梯度的方差。
-
标准正态分布初始化:即用均值为0,标准差为1的正态分布采样初始化权重。
-
均匀分布初始化:从均匀分布中采样初始化权重矩阵的值。
-
预训练模型初始化:使用在大数据集上预训练的模型来初始化权重,这可以利用预训练的知识。
-
特定方差初始化:根据理论分析,将权重矩阵初始化为某特定的方差。
这样对所有256个patch都做同样的处理,我们就得到了256个128维的向量。 将这256个128维向量concatenate起来,就是一个256x128的矩阵,可以看作是这个图片的一个线性嵌入表示(linear embedding)。
在Vision Transformer中:
-
每个16x16的图像patch经过线性映射得到的128维特征向量,就相当于NLP中的一个词的词向量表示。
-
将256个patch的128维特征向量拼接起来,形成一个256x128的矩阵,就相当于一个句子中包含256个词的表示。
-
这样的矩阵作为输入,送入后续的Transformer编码器中,实现对整张图像的建模,就如同NLP中的Transformer对一个句子进行建模一样。 所以可以把图像分patch并线性映射到低维空间的操作,Analogous到NLP中将一个句子分割成多个词。而影像作为特殊的“句子”,词就是图像patch的向量表示。
这个线性嵌入作为输入,传给后面的Transformer模型。Transformer中的self-attention机制可以建模patch之间的全局关系,实现对整个图片的理解。 这样一来,通过将图片分patch并线性映射,我们就把二维图像转变为Transformer可以处理的一维序列形式。这种处理方式充分利用了Transformer在建模全局依赖关系上的优势,为视觉任务带来新的可能性。
Transformer中的Encoder模块主要实现了以下几点功能:
-
多头注意力机制(Multi-Head Attention):这是Transformer的核心机制,通过计算输入的不同表示之间的相关性,来捕捉输入序列的全局依赖关系。
-
前馈全连接网络(Feed Forward Network):用于非线性映射,以增强模型的表达能力。
-
残差连接(Residual Connection):输入直接跨过一层进行连接,以缓解深层网络的梯度消失问题。
-
Layer Normalization:对每一层的特征进行规范化,使模型更稳定易训练。
Transformer Encoder的工作流程是:
-
将输入序列(如词向量序列)在每个位置增加Position Encoding,为模型提供序列顺序信息。
位置编码是加上去的(sum)，不是拼接上去的。
-
输入序列经过多头注意力机制,获得序列的上下文表示。
-
通过前馈全连接网络进行非线性映射。
-
应用残差连接,将注意力表示和非线性映射结果相加。
-
Layer Normalization对相加的结果进行规范化。
-
重复上述步骤多次构建深层网络。 这样通过交替使用注意力机制和全连接网络,Transformer Encoder可以对序列进行深层语义抽取和建模。
-
Vision Transformer将图像分割为多个patch,对每个patch提取特征。
-
利用类似NLP的Position Encoding给图像patch编码位置信息。
-
将patch的特征向量作为序列输入到Transformer Encoder中。
-
在Transformer Encoder内,多头自注意力机制会聚焦在不同的patch上,学习patch之间的关系。
-
前馈全连接网络对patch的特征作进一步转换。
-
Layer Normalization和残差连接用来稳定训练。
-
重复这些模块堆叠多层,输出图像patch的上下文特征。
-
最后的分类头对输出特征进行分类预测。
Vision Transformer中的MLP(多层感知机)主要用来进行特征变换。 Vision Transformer中的结构通常是:输入图像Patch --> 经过多头自注意力模块(Multi-head Self-Attention)得到特征图 --> MLP特征变换。 MLP部分通常包含两个线性变换层和一个非线性激活函数:
-
第一个线性变换层:用于将输入特征映射到一个较高维的空间,通常映射维度是输入的4倍,这样可以提取更多特征。
-
非线性激活函数:通常使用GELU或者ReLU,引入非线性,增强模型的表达能力。
-
第二个线性变换层:再将维度映射回原来的大小,也就是降维到与输入相同的维度。
MLP结构强大之处在于它连接了两个线性变换,通过非线性激活函数作为中间层,可学习非线性交互,增强了模型特征提取和表示的能力。 整体来说,MLP用于增强Vision Transformer提取的特征表达,引入非线性交互,是Vision Transformer结构中非常关键的一个组成部分。它增强了模型对视觉特征的表示和变换能力。
Vision Transformer模型微调主要分以下几个步骤:
-
加载预训练模型:从模型仓库中下载在大数据集上预训练好的Vision Transformer模型,加载预训练的参数。
-
设置微调训练参数:需要确定哪些层参与微调,哪些层保持固定。一般会固定卷积层和前面的Transformer块,解冻分类头和最后1-2个Transformer块。
-
更换分类头:修改分类层的网络结构,使其输出个数与自己的数据集类别数匹配。可以初始化新的分类头或者加载已有模型的分类头权重。
-
数据处理:需要对自己的数据集进行与预训练数据集类似的预处理,如图像增强、裁剪、标准化等。
-
开始微调训练:使用较小的学习率(如0.001%),在新的分类任务上进行迭代训练。通常仅需训练几轮就可以取得很好的效果。
-
优化器可以使用低动量的SGD或者Adam等。Loss函数可以使用交叉熵损失。
-
可以适当使用一定概率的dropout或者weight decay来避免过拟合。
-
如果效果不佳,可以逐步解冻更多层进行微调,或调整学习率、优化器等。
-
微调后得到适配自己数据集的Vision Transformer模型,可以保存模型并用于测试或部署。
通过以上微调策略,可以快速高效地迁移Vision Transformer模型到新任务上,达到很强的模型效果。
原始的Vision Transformer 在论文中确实没有卷积层,直接从图像patch输入到Transformer结构。 但在后续的研究和应用中,许多模型会在Vision Transformer中引入卷积层,以 capture 更低层的图像信息。主要有以下两类:
-
混合模型:如 ViT-ResNet,会在Transformer之前加入少量卷积层提取底层特征,融合卷积网络的优势。
-
作为Patch Extractor: 一些模型会使用卷积网络作为patch特征提取器,从图像中提取patch特征然后输入到Transformer。例如DeiT中使用的ConvStem。
-
提高小样本学习:加入少量卷积层可帮助Transformer在小样本任务上表现提升。
-
参数效率:适当加入卷积层可以减少Transformer块数量,提高参数利用效率。
所以综合来说,虽然原始论文的Vision Transformer没有卷积层,但在实际使用中加入一定数量的卷积层作为补充,可以给模型带来性能或参数效率上的提升。需要根据具体使用场景来设计。
扫一扫
1578
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
