两年前看的压缩域文章,论文地址(IEEE):Moving segmentation in HEVC compressed domain based on logistic regression2017
本文所提出的移动分割方法使用离线训练方案来获得一组最佳系数。在分割过程中,首先对从HEVC流中提取的语法元素进行预处理,形成特征向量,然后对每个4×4块进行归一化。
其次,逻辑回归分类器对输入特征应用简单回归计算,并确定输入是属于前景还是背景。
F-score、二元分类问题和逻辑回归
(1)预处理
①PUmode的量化权重,见下表。
②时空噪声
设计一个空间域中值滤波器去除孤立噪声,设计一个平均时间域滤波器来填充空白部分,连续三帧的共址区域被计算为processed feature.
③去除global camera motion
背景的大部分MV属于global motion,
SKIP下的PU更可能是背景。计算出SKIP模式MV的平均值,作为global camera motion,所有的MV减去该值。
(2)逻辑回归的梯度上升算法
1)特征向量的规范化
原始特征向量X0 = {x1,x2,…,x6}
x1 = areaPU。 包含当前被决定的4×4blockPU的面积。
x2 = weightPUmode。 PU模式的数值。
x3 = mvx。 MV的水平分量。
x4 = mvy。 MV的垂直分量。
x5 =Δqp。 以光栅扫描顺序的Delta QP。(恒定比特率下相邻CTU的QP差值,其引文【7】有详细讲述)
x6 = energyac。 AC系数的能量。(其中N是TU中的系数的数量,Coef_i为AC能量系数)
零均值归一化(Z-score)
σ是X0的标准差,μ是当前帧中原始特征矢量的平均矢量
2)逻辑回归分类
①逻辑回归
C_fg为前景,C_bg为背景。
②梯度上升算法
实际上,步数R,公差容限和α分别设置为1000,0.05和0.001。
通过梯度上升训练最优系数ω的伪代码如下:
所有设置为1的权重开始
对R次重复以下操作:
计算整个数据集的梯度
通过alpha(α)×梯度(ω)
计算错误率
如果错误率<公差容差
返回权重矢量
本文所用logistic回归的梯度上升算法法在该博文中详细讲述(附Python代码,希望能找到MATLAB代码):
https://blog.csdn.net/tianse12/article/details/70183348
(3)个人总结
复现本文需要的HEVC码流数据:1、MV,2、Raster扫描模式下CTU相邻QP的差值,3、AC系数(DCT变换),4、PuSize
这篇项目文章之前复现过,数据代码都丢了。
原文摘要:
摘要-——-移动分割是视频分析系统的重要组成部分。虽然像素域方法被充分利用,但是压缩域方法仍然相对较少,特别是对于HEVC。本文提出了一种基于Logistic回归的HEVC压缩域中的一种新的移动分割方法,可以处理相机抖动情况。首先,分析移动前景和背景中的HEVC语法元素之间的区别。进行F评分评估以确认这些特征的区分能力。然后,这些原始特征(包括预测模式,MV等)被预处理成更有用和鲁棒的特征。噪声通过时空滤波器减少,全局摄像机运动在这一步中被移除。之后,将移动分割模型化为以预处理特征为输入的二元分类问题。为了解决分类问题,本文采用逻辑回归。实验结果表明,所提出的方法达到了与先进的像素域方法相当的性能和16.78倍的处理速度。