显著性检测(二)Spatio-temporal Saliency Detection Using Phase Spectrum of Quaternion Fourier Transform

本文介绍了基于相位谱的显著性检测方法PFT,指出仅使用相位谱即可有效地定位图像显著区域,且比谱残差法(SR)效果更优、计算量更小。通过引入四元数傅里叶变换(QFT),将方法扩展到视频显著性检测,形成PQFT算法,结合颜色、强度和运动特征,生成时空显著图。
摘要由CSDN通过智能技术生成

本文来自2008年的CVPR,是基于上一篇侯晓迪的谱残差法(SR)提出的。在本文中,作者认为SR方法是有问题的,事实上不需要振幅谱,仅利用相位谱就可以获得突出区域的位置,且效果更好,计算量更小,该方法被命名为PFT。此外,通过将每个像素的值表示为一个由强度、颜色和运动特征的四元数,可以将PFT原有的二维傅里叶变换转换为四维傅里叶变换(QFT),并且由于运动特征的加入,该方法将显著性的应用区域由图像扩展到了视频。
相位谱内涵:对不同信号波形,重建其相位谱,可以得出规律:当输入波形正跳变或负跳变时,输出波形显示为尖端;相反的,当输入波形是固定频率的正弦信号,相位谱中没有波动。与整个波形相比,在水平和垂直方向上具有着很少周期性和同质性的位置就是图像中的显著位置。
PFT算法:该算法使用相位谱来计算显著图。首先给出图像I(x, y),对其做傅里叶变换得到f(x, y),然后提取其相位谱,仅使用相位谱做傅里叶反变换,并通过一个高斯平滑滤波器得到显著图。
f(x, y) = F(I(x, y))
p(x, y) = P(f(x, y))
sM(x, y) = g(x, y)*||F-1[eip(x, y)]||2
然后作者比较PFT和SR两种方法得到的结果,发现二者相差甚小,于是得出结论,振幅谱对显著区域的贡献很小。
PQFT算法:PQFT是在PFT的基础上提出的,加入了帧与帧之间的运动特征来得到时空显著图,也就是说,该方法可以用在视频中以检测显著性。
首先要建立一个四元图。定义t时刻的输入图像为F(t),t为帧数。r(t), g(t), b(t)分别为该图像的红绿蓝通道。四个调整过的

时空动作检测spatio-temporal action detection)是一项计算机视觉任务,旨在从视频片段中准确地检测和识别出发生的动作。与传统的动作识别任务相比,时空动作检测旨在通过不仅仅检测动作在空间上的出现,还要捕捉动作在时间上的变化。 时空动作检测往往涉及以下几个主要步骤: 1. 帧级特征提取:首先,利用现有的特征提取技术,从每个视频帧中提取稳定而有信息量的特征,以捕捉空间信息。 2. 时间建模:接下来,通过对连续帧之间的变化进行建模,来捕捉动作的时间相关性和动态信息。这可以通过各种技术,如光流,差分图和循环网络等来实现。 3. 动作检测:在获得空间和时间特征后,利用学习算法(如深度神经网络)来进行动作检测。这通常通过将时空特征输入到分类器,然后根据预先训练的模型推断动作类别和位置。 4. 时空定位:最后,定位动作在视频中的准确位置。这可以通过在时间上进行滑窗检测,并使用非极大值抑制来抑制重叠检测结果来实现。 时空动作检测在很多领域具有广泛应用,比如视频监控、智能交通、运动分析和人机交互等。通过准确地检测和识别动作,我们可以实现更精确的行为理解和动作预测,从而为许多实际应用带来便捷和效益。然而,时空动作检测仍然存在一些挑战,如动作遮挡、背景干扰和不同尺度的动作等问题,所以该领域的研究仍在不断发展和进步。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值