Classifying dynamic textures via spatiotemporal fractal analysis（许教授）

提出了：dynamic fractal spectrum (动态分形谱) 来处理动态纹理序列

 

预备知识：

分形（fractal analysis）：局部形态和整体态的相似。分形理论所揭示的“看似杂乱无章实质结构相似且迭代有序，缺一不可，每个结构缺一不可，每个结构都带有对过去，当下，未来的功能作用信息！”提示我们，过去、当下（当下是过去的累积）、未来，其实没有什么牢不可破的阻隔。甚至于，时间都是幻象。

“一日看人生，如何过好一天就是如何过好一生”，里面就蕴含着“分形”思想

 

多重分形（multi-fractal）：当我们所研究的度量（measure）在不同的尺度(different scale)上均相同，或者至少在统计意义上是一样的，就可以说我们所研究的度量是自相似的，这一度量就是多重分形

https://wenku.baidu.com/view/ca97e45e64ce0508763231126edb6f1afe007186.html

分维：http://www.kepuchina.cn/wiki/ct/201803/t20180318_558672.shtml、https://wiki.swarma.org/index.php/%E5%A4%9A%E9%87%8D%E5%88%86%E5%BD%A2

分维用于衡量自相似图形的复杂度，它的定义为：

假设我们要测量一个正方形的大小，我们不用常规的方法来衡量这个正方形的大小，而是把这个正方形缩小原来的2倍，变成一个mini正方形，然后我们用这个mini正方形去测量原来正方形的大小，发现原来正方形的大小就是4个mini正方形。这样，我们就可以得出了这个图形（正方形）的维度，设需要mini正方形的数量为N，mini正方形是由原来正方形缩小  倍得到的，求D，使得  ,那么这个D，就是这个图形的维度。

例如，一条直线的维度为1，一个平面的维度为2，而一条曲线的维度可能介于1～2之间，因为曲线比直线复杂，但又比平面简单。

了解分维后，就能明白论文的公式

---

模型由两个部分组成：volumetric dynamic fractal spectrum component (V-DFS 三维动态分形谱)、multi-slice dynamic fractal spectrum(S-DFS 多层动态分形谱)

V-DFS：把DT序列堆叠起来，成为立体数据，然后捕获其随机自相似性

S-DFS：对沿三维体的不同视觉方向的二维切片上重复DT图案的分形结构进行编码

 

与静态纹理相比，动态纹理不仅在纹理元素的空间分布上存在差异，而且在组织和动态上也会随时间而变化。

现有方法的缺点：

已有的许多方法将视频作为随机动态系统的样本或直接测量视频的运动场来建模，但对于由具有一定混沌的非线性随机动态系统驱动的具有复杂运动的动态纹理，现有方法的有效性并不令人满意，

现有方法的类型：

现有的DT分类方法主要有两类：生成方法、判别方法

生成方法试图对生成DT序列的物理动力系统进行定量建模，并根据相应物理模型的系统参数对DT序列进行分类。生成方法的主要缺点是对具有复杂运动不规则的非线性物理系统生成的DT序列的描述不够灵活。

判别方法的主要思想是：描述局部DT pattern的分布。判别方法能够在不显式地对底层动态系统建模的情况下有效地描述DT。

 

虽然判别方法比生成方法好，但是现有的判别方法在具有复杂运动的DTs中，其性能是非常有限的，因为它们不能可靠地捕捉这种视频序列固有的随机平稳特性。

 

---

我们注意到，尽管许多DT序列的运动模式可能是高度不规则的，但从不同的时空尺度(多尺度)来看，它们是相当一致的。

这种多尺度自相似性被称为能量法则或分形结构[21]。

许多视频序列的时间频谱振幅，包括一个或多个人类的相机运动、天气和生物运动，确实符合能量法则模型[22,23,21,24,25]。

---

论文作者假设：DT序列是由具有自相似性的动态系统生成的

DFS描述子具有两类方法的优点：生成方法对DT随机行为建模的识别能力和识别方法对环境变化的鲁棒性。

---

传统分形分析的缺点：这些方法主要集中在静态纹理分类上，通过简单地平均每个DT帧上的原始特征（如[15]），或直接将描述符扩展到3D情况（如[14]），将其应用于DT分类。

论文创新点：

1、捕获了整个DT序列上的全局自相似行为

2、捕抓每个DT切片上重复模式的统计自相似性

 

---

计算V-DFS

1、基于“局部密度指”数把点划分到不同的集合
2、在log坐标系中，使用最小二乘法去拟合每个集合的分维
3、最后得到每个集合的分维值，然后用一个向量存储起来，最后得到向量 g

计算S-DFS

1、在三个方向切分2D切片，然后根据“局部密度指数”把点划分到不同的集合，再计算这些集合的分维，最后得到每个切分方向的“分维向量”，最后得到向量 l
2、计算这三个向量的平均值，之所以取平均，是因为平均能更稳定

计算DFS：

串联V-DFS向量g和S-DFS向量l以形成最终的DFS向量d，最后可以用向量d来进行分类

 

计算局部密度指数的方法：

，其中 函数有5种：

1、像素强度（pixel intensity）:

2、时间亮度梯度（temporal brightness gradient）：

3、正则流（normal flow）：

4、拉普拉斯：

5、主曲率（principal curvature）：