机器视觉: LBP-TOP

之前介绍过机器视觉中常用到的一种特征：LBP
http://blog.csdn.net/matrix_space/article/details/50481641

LBP可以有效地处理光照变化，在纹理分析，纹理识别方面被广泛应用。

但是LBP 只能处理单张的二维图像，对于视频或者图像序列，如何用LBP来提取特征，捕捉视频序列的运动信息呢。今天我们就介绍一种称为 LBP-TOP 的特征，是芬兰奥卢大学的 Guoying Zhao 等人提出来的，最早是用来处理动态纹理的识别，但是现在已经被广泛用在基于视频的人脸表情识别上面。

LBP-TOP 是 LBP 从二维空间到三维空间的拓展，LBP-TOP 的全称为: local binary patterns from three orthogonal planes, 这里的three orthogonal planes 指的就是三个正交平面，我们知道，单张的图像只有X, Y两个方向，而一个视频或者图像序列除了X,Y 方向之外，还有一个沿着时间轴 T 的方向， 而 X-Y, X-T 和 Y-T 三个方向是相互正交的。可以看看如下的图：

图片来自参考文献 [1]

一个图像序列，给出三个正交平面的纹理图，X-Y 就是我们正常看到的图像，X-T 是每一行沿着时间轴扫描而过的纹理，Y-T 是每一列沿着时间轴扫描而过的图像，简单来说，我们可以在这三个平面都提取 LBP 特征，然后把三个平面的 LBP 特征连接起来，就是 LBP-TOP。 如下图所示：

图片来自参考文献 [1]

所以说 LBP-TOP 是 LBP 从二维到三维的拓展，与LBP 相比，LBP-TOP 不仅考虑了 X-Y 平面的纹理信息，还考虑了 X-T, Y-T的纹理信息，而X-T，Y-T 的纹理信息，记录着重要的动态纹理。

从之前介绍的LBP 我们知道，提取LBP特征，采用 uniform code 编码的话，会生成一个 59 维的数组，记录着 LBP 的直方图信息，那么 LBP-TOP特征，在三个正交平面都提取LBP，最终会生成一个 $59 \times 3$ 的数组，特征的维数一下增加了三倍。很多时候，我们会把图像分块，一个图像分成 $4 \times 4$ 个blocks, 每个block都会生成一个 $59 \times 3$ 的数组，最后生成的特征的维数是 $4 \times 4 \times 59 \times 3 =2832$, 所以LBP-TOP 是一种高维特征。

LBP-TOP 源代码可以在奥卢大学的官网下载：

http://www.cse.oulu.fi/CMV/Downloads/LBPMatlab

声明：博客上用到的图片都来自参考文献[1], 只能用于学习交流，严禁用于任何商业目的，如需转载或引用，请注明文献[1]为出处。

参考文献：

[1]: Zhao G & Pietikäinen M (2007) Dynamic texture recognition using local binary patterns with an application to facial expressions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 29(6):915-928.