第四章 数字视频结构分析及视频分割

一、视频基本结构

以本地AVI格式举例：

信息块、数据块、索引块

二、视频结构分析核心技术-镜头边界检测

1.基于模板匹配的像素对比较法

2.基于直方图特征的检测法

关键帧—用于描述一个镜头的关键图像帧。先镜头分割，再从各个镜头中提取关键帧。

 

二、提取关键帧方法：

 

1.基于镜头边界提取关键帧

一段视频分割成镜头后，取每个镜头的首帧（或首帧和尾帧）为关键帧。

优点：简单，无论内容如何，关键帧数量一定。

缺点：效果不太稳定，首帧和尾帧不一定能反映出镜头的内容

 

2基于图像信息提取关键帧

基于每一帧的颜色、纹理等视觉信息的改变来提取关键帧，当这些信息有变化时，当前帧既可作为关键帧。

步骤：1把镜头的第一帧作为关键帧，参考帧2计算前一个关键帧与剩余帧之差，若>阈值，再选一个关键帧3把刚选出的帧作为参考帧

优点：根据内容变化程度选择相应数目关键帧

缺点：所选取的关键帧不一定有意义，可能提取过多

 

3基于运动分析提取关键帧

通过光流分析来计算镜头中的运动量，在运动量取局部最小值处选取关键帧。

视频中通过摄像机在一个新的位置上停留或通过人物的某一动作的短暂停留来强调其本身的重要性。

优点：提取的关键帧代表性较强

缺点：在运动分析时，需要的计算量较大，而且局部最小值不一定准确

 

4帧平均法和直方图平均法

帧平均-取一个镜头中所有帧的某个位置上的像素值的平均值，将镜头中该点位置的像素值=平均值的帧作为关键帧

 

直方图平均-镜头中所有帧的统计直方图平均，取与平均直方图最接近的帧作为关键帧

优点：所选取的具有平均代表性，计算量不大

缺点：所需存储量较大，无法描述有多个物体的镜头

 

5基于文字和图像信息提取关键帧

有文字-新闻，极强的代表性。固定区域出现文字

 

·镜头聚类和场景分割

镜头聚类是把属于同一个场景的镜头组合起来，形成视频层次结构。

空间相关性、时间相关性。

 

三、视频分割

单帧视频中的对象分割—图像分割；运动对象分割-运动目标检测

1.      图像分割：把图像分成各具特性（灰度、颜色、纹理等）的区域并提取出感兴趣目标的技术和过程

2.分割方法

·阈值分割方法

 

1最大类间方差法OSTU

选类间方差为测度函数，最佳阈值再该测度函数取最大值时得到

2最小误差法

假设目标和背景灰度的概率分布为正态分布，使错分概率最小时选取阈值

3矩不变法

4最大熵法

5简单统计法

6最小相互熵法

7最小分离度法

方法比较：