【计算机视觉】Lecture 27：肤色

回顾：光线传播

光源颜色

光谱功率分布SPD： 每个波长相对的光线能量

光谱反射率

不同波长的出射和入射辐射的比例。

（反射光的比例）

辐射亮度

人眼：Rods and Cones

组合起来=颜色

描述颜色

今天我们考虑一个样本材料，人类的皮肤，并用两种方法来描述皮肤的颜色，以便在图像中找到它。

1） 基于物理的方法

2） 基于学习的方法

目标：在图像中对皮肤像素打标签

应用：

1. 人物寻找/跟踪
2. 手势识别

肤色物理学

分析推导：
Moritz Storring, Hans Andersen and Eric Granum, “Skin Colour Detection under Changing Lighting Conditions,” 7th Symposium on Intelligent Robotics Systems, Coimbra Portugal, July 1999.

实验测量：
Birgitta Martinkauppi, “Face Colour Under Varying Illumination: Analysis and Applications,” Ph.D. Thesis, Oulu University Press, Oulu Finland, 2002.

问题：颜色变化

视在颜色因照明颜色和相机光谱响应而变化。

皮肤反射模型

皮肤通过双色性反射模型被很好的建模。

透明介质（真皮）

色素沉着（血红蛋白、黑色素）

镜面反射（皮肤上的油）

皮肤光谱反射率的测量

理解皮肤反射率

黑色素的增加导致皮肤变黑，掩盖了血红蛋白的吸收带模式。

解析模型

使用白种人的观测曲线生成不同的皮肤反射率，并计算由于黑色素（一种具有已知吸收率的物质）的增加而导致的反射率降低

光照的光谱功率分布SPD

相机光谱响应

肤色轨迹：解析计算

肤色轨迹：实验测量

皮肤轨迹例子

不同光照条件下的肤色直方图。红色：高值，蓝色：低值。

更严格的限制

如果你知道相机和光源，你可以得到皮肤颜色更严格的分析界限。

例子

同一个体在不同的光照条件下。

采样应用

变光照条件下的人脸跟踪

Jones and Rehg, 2002

“Statistical Color Models with Application to Skin Detection”, M. J. Jones and J. M. Rehg, Int. J. of Computer Vision, 46(1):81-96, Jan 2002

总体思路：

• 放弃物理。取而代之的是从例子中学习。

• 了解皮肤和非皮肤颜色的分布

• 非参数分布：颜色直方图

• 皮肤像素的贝叶斯分类

从例子中学习

首先，让一些可怜的研究生亲手贴上成千上万张图片

这些数据存储到两个 323232 的 RGB 直方图

学习的分布

概率比

采样像素分类

采样应用：HCI

样本使用：成人图像分类

根据五个特征：
• 检测为皮肤的像素的百分比。

• 皮肤像素的平均概率。

• 皮肤最大连接部分的像素大小。

• 皮肤连接部分的数量。

• 在皮肤和非皮肤直方图中没有元素的颜色百分比

其他相关工作：
M.M. Fleck, D.A. Forsyth and C. Bregler, “Finding Naked People,” Proc. European Conf. on Computer
Vision, Springer-Verlag, 1996. p. 593-602

James Wang, Jia Li, Gio Wiederhold and Oscar Firschein, “System for Screen Objectionable Images” Computer Communications, Vol 21(15), pp.1355-1369, Elsevier, 1998.

回到 Jones and Rehg 模型

通过将基于直方图 histogram-based 的模型转换为高斯混合 Gaussian Mixture 模型，给出了一个简洁的描述。

Jones and Rehg 混合模型

成功的例子

假阳性（误报）的例子

假阴性（漏报）的例子

说明：皮肤上的图画会改变光谱反射率