1、岭回归
目标:训练的目标是找到一个函数f(z) = wT z,使样本Xi及其回归目标Yi的平方误差最小
- 为了解决线性回归模型中的过拟合问题,特别是在特征数量很大,或者特征间存在多重共线性(即特征之间高度相关)的情况
- 解决一个线性回归问题,其中目标是找到一组参数,使得预测值与真实值之间的差异最小化,同时通过正则化避免过拟合。
- 岭回归的初衷是通过参数收缩(趋于0收缩)和正则化来提高模型的泛化能力和稳定性,特别是在面对高维数据和多重共线性问题时
λ :正则化参数,控制过拟合
f(z):回归结果,响应值(后面也会介绍)
Z:输入数据(Xi,Yi)
W:回归器(参数矩阵)
回归器什么用?预测连续数值型输出。预测连续值输出的模型,用于预测问题。
y:表示回归目标
若在傅里叶域中工作,则通常为复数值(需要把2转变成3式)
此时(3)式的时间复杂度为:O(n3)
余弦面:减少边界效应,降低边界附近不连续的影响
2、循环移位(Px)
目的: 训练分类器(基样本【正】、虚拟样本【负】)
分类器是什么意思?用于预测离散的类别标签。给定一组输入特征,分类器会预测该输入属于哪个预定义的类别。
u:移动次数
3、循环矩阵(X)
式(5)移动后的矩阵作为(6)的行(移动1、2.......次)
X是由xi构成的循环矩阵
循环矩阵的作用?扩充样本生成滤波器
KCF算对跟踪器进行训练的目的是利用生成的样本,生成滤波器
滤波器有什么作用?主要用于信号处理领域,用于从信号中提取或抑制特定频率范围内的信息
4、傅里叶对角化 (所有的循环矩阵都是通过离散傅里叶变换变成对角线的)
F:常规矩阵(傅里叶变换矩阵)
带有帽子(尖尖):表示向量的傅里叶变换(DFT)
5、(主题)训练回归器(利用循环矩阵简化w的求解过程,求w)
XhX:无中心协方差矩阵
式(8)替换式(7)只剩下一个(复共轭),并消去
=I得:
式(9) 元素积得:
:代表信号X的自相关(傅里叶域中)、时间滞后的方差、空间等
式(12)既是:回归器在傅里叶域中的形式,时间复杂度O(n)
6、非线性回归(F(z):式(22))
核技巧:将X通过核函数隐式的映射到Z
式(13):回归器解析式,αi:被优化,
目标求αi:α=【α1,α2,α3,α4......】T
点积式核函数:
式(14)带入回归模型公式得:
6、1快速训练:如何快速求出α(权重向量,寻找最优α)
式(16)核空间下岭回归的闭式解
α是αi的向量,对偶空间的解
k:核矩阵
α解析式已有,但K维数高,计算慢,如何将K变成循环矩阵?
什么样的核能使K变成循环矩阵?高斯核、多项式核、卡方核......
6、2使K变成循环矩阵?
给出循环数据C(x)
P:循环置换矩阵,Kxx由式(18)得到:
式(19)表示:X与X`在高维中的相互关系,(19)为更好理解Kxx
7、快速检测,循环移位对快速检测的影响:求f(z)尖
是:x与z的核相关
:训练样本与候选补丁之间的核矩阵
训练样本:是在算法初始化阶段从已知包含目标的图像区域中提取的补丁,这个补丁通常包含了目标的完整外观信息,用于训练算法识别目标的特征。在KCF中,这个训练样本会用于构建相关滤波器,以便后续在视频序列中寻找相似的目标实例。
候选补丁:候选补丁是指在追踪过程中,算法在每一帧中可能包含目标的多个区域中提取的补丁。
由式(15)得(21):
f(z):是向量,包含z的所有循环移位的输出,完整的检测响应
将式(21)对角化,为有效计算:
式(22)求最大响应位置。
8、求Kxx,Kxz
Kxx:此核矩阵代表训练样本特征向量之间的相似度
Kxz:训练样本与搜索区域的特征向量之间的相似度
采用高斯核函数:
Kxx`:两个通道向量的核相关内积
多通道式。
KCF算法(主要是利用循环矩阵和FFT减少计算量)
A1:
FFT快速傅里叶变换:将时域或空间域的信号转换到频域,
iFFT则执行相反的过程,即将频域中的信号转换回时域或空间域
跟踪器关注对象在视频或图像序列中的连续定位。
回归器预测连续数值型输出。
滤波器处理信号,提取或抑制特定频率的信息。
分类器预测离散的类别标签。
KCF算法工作流程:
-
初始化滤波器 (W0):
- 在算法开始之前,需要初始化滤波器。滤波器W0是一个从低维空间映射到高维特征空间的核函数。
-
第一顿采样 (Xi):
- 这是算法的第一个采样步骤,其中Xi代表目标在第i帧中的位置和尺寸信息。
-
映射到高维 (Φ(Xi)):
- 将采样位置Xi通过核函数Φ映射到高维特征空间,以便进行更复杂的数据处理。
-
循环采样 (C(Φ(Xi))):
- 循环采样是KCF算法的关键步骤之一,它利用循环矩阵的特性来处理采样数据。C表示循环矩阵,它将高维特征空间中的采样数据重新组织,以便于后续处理。
-
快速傅里叶变换 (FFT):
- 在循环采样之后,使用快速傅里叶变换将数据从空间域转换到频率域。这一步是为了利用频率域的特性来简化计算。
-
理想设定的定位 (Yo):
- Yo是滤波器响应的理想定位,通常是高斯函数或其他形式的权重分布,表示目标的初始位置和大小。
-
响应 (Yi+1):
- 在跟踪过程中,滤波器对每一帧的响应Yi+1表示目标在新帧中的位置和尺寸。
-
新模板训练及更新 (Wi+1):
- 根据当前帧的采样和响应,更新滤波器Wi+1以适应目标的移动和外观变化。
-
重新采样及更新:
- 在更新滤波器后,需要重新采样目标区域,以准备下一轮的跟踪。
-
第i+1帧中对原跟踪位置 (Zi+1):
- 表示在第i+1帧中,根据前一帧的跟踪结果Zi更新得到的目标位置。
-
对应相应图定位 (C(Φ(Zi+1))):
- 将更新后的目标位置Zi+1映射到高维特征空间,并进行循环采样,以便于滤波器处理。
-
采样定位 (Yi+1):
- 根据更新后的滤波器Wi+1和采样定位C(Φ(Zi+1)),计算新帧中目标的响应Yi+1。
术语解释:
- 滤波器 (W): 用于目标跟踪的核函数,它可以将目标的特征从低维空间映射到高维空间,以便进行更精确的匹配和跟踪。
- 采样 (Xi, Zi+1): 表示目标在视频帧中的位置和尺寸,Xi是第i帧的采样,Zi+1是第i+1帧的采样。
- 核函数 (Φ): 用于将采样数据映射到高维特征空间的函数,常见的核函数包括高斯核、线性核等。
- 循环矩阵 (C): 一种特殊的矩阵,其行或列是循环排列的。在KCF算法中,循环矩阵用于处理采样数据,利用其结构特性简化计算。
- 快速傅里叶变换 (FFT): 一种高效的算法,用于将信号从时间域或空间域转换到频率域。
- 响应 (Yi+1): 滤波器对目标区域的响应,通常表示为目标的存在概率或匹配度。
- 更新 (Wi+1): 根据新帧的采样和响应更新滤波器,以便更好地适应目标的变化。
KCF算法通过在每一帧中重复上述步骤,实现对目标的实时跟踪。算法的关键在于利用循环矩阵和FFT来减少计算量,同时使用核技巧来提高跟踪的准确性。
A2: ![](https://i-blog.csdnimg.cn/direct/ec9f3bbad2e64206b85426170adc1793.png)
图片中描述的KCF(Kernelized Correlation Filters)算法工作流程可以详细解释如下:
-
HOG特征提取:
- HOG(Histogram of Oriented Gradients)特征是图像中局部区域的梯度方向和强度的统计信息,常用于计算机视觉中的目标检测和跟踪。
-
余弦窗:
- 余弦窗是一种常用的窗函数,用于在图像处理中减少边界效应。在KCF中,余弦窗通常用于加权目标模板和搜索区域,以降低边界附近的不连续性影响。
-
高斯自相关和高斯互相关:
- 高斯自相关用于描述目标模板在不同平移下的相似度。高斯互相关则用于计算测试序列与目标模板之间的相似度。
-
特征加权:
- 在提取特征后,通过余弦窗对特征进行加权,以增强目标区域的特征并抑制背景噪声。
-
训练并更新分类器:
- 使用加权的特征训练一个基于高斯核的分类器,该分类器能够在新帧中区分目标和背景。
-
fft/(k+λI):
- 使用快速傅里叶变换(FFT)对加权的特征进行变换到频域,并利用核技巧和正则化参数λ来更新分类器。这一步是KCF算法的核心,它利用了循环矩阵的性质来加速计算。
-
测试序列:
- 在视频的下一帧中,提取与前一帧相似的特征序列,这通常包括目标可能的新位置。
-
模式识别:
- 使用更新后的分类器对测试序列进行模式识别,以确定目标在新帧中的位置。
-
最大响应:
- 分析分类器的响应图,找到最大响应值的位置,该位置被认为是目标在新帧中的最佳估计位置。
-
跟踪(t+1):
- 将找到的最大响应位置作为目标在下一帧(t+1)的跟踪结果。
详细步骤解释:
-
初始化:
- 在算法开始之前,需要初始化滤波器,并从第一帧中提取HOG特征。
-
特征提取:
- 对于视频中的每一帧,首先提取HOG特征,这些特征能够描述图像中目标的形状和外观。
-
特征加权:
- 使用余弦窗对HOG特征进行加权,以减少图像边缘的不连续性对跟踪的影响。
-
训练分类器:
- 利用加权的特征训练一个高斯核分类器,这个分类器能够区分目标和背景。
-
核技巧和正则化:
- 在频域中应用核技巧和正则化参数λ,以更新分类器。核技巧允许我们在高维空间中进行线性分类,而正则化则防止过拟合。
-
模式识别:
- 在新帧中,使用更新的分类器对可能的目标位置进行评分,以识别最有可能的目标位置。
-
最大响应定位:
- 在响应图中找到最大响应值,这代表了目标在新帧中的估计位置。
-
更新跟踪结果:
- 将估计的位置作为跟踪结果,并将其传递到下一帧中,进行下一阶段的跟踪。
KCF算法通过这种方式在视频帧之间进行目标跟踪,通过核函数和FFT优化计算过程,实现快速而准确的目标跟踪。
KCF实现流程:原文链接:https://blog.csdn.net/EasonCcc/article/details/79658928