第二十一周学习笔记

第二十一周学习笔记

阅读《计算机视觉——算法与应用》

第十二章 3D重建

12.1由x到形状

除了双眼视差外，阴影、纹理和聚焦都参与了我们对形状的感知，从这些线索来推断形状的研究有时称为“由X到形状”

12.1.1 由阴影到形状与光度测量立体视觉

从图像亮度变化推断出表面形状的问题称为“由阴影到形状”

12.1.2 由纹理到形状

规则纹理的透视收缩变化可以对局部表面方向提供有用的信息

12.1.3 由聚焦到形状

物体深度的一个强线索是模糊的深度，它随着物体表面原理摄像机焦距而增加

12.2 主动距离获取

主动场景照明，无论是为了使用光度测量立体视觉估计法还是为由散焦到形状提供人工纹理，都可以大大提高视觉系统的性能。

12.2.1 距离数据归并

单个距离图像可以作为更加完整的3D物体建模的构件。这个过程通过局部3D表面模型的注册（配准（对齐））以及将它们整合为一致的3D表面

12.2.2 应用：数字遗产

主动距离获取方法，与表面及表观建模方法结合，广泛应用与考古学及文物保护领域，这些应用也被称为“数字遗产”

12.3 表面表达

显式表面表达，如三角网格、样条及细分表面，不仅可以创建高度详细的模型，还可以处理操作，如插值、整形或平滑，以及抽取（decimation）和简化

12.3.1 表面插值

针对表面，一个最普遍的操作是从一系列稀疏数据约束中重建表面，即散列数据插值

12.3.2 表面简化

从3D数据建立三角网格后，我们通常希望建立一个层次的网格模型，例如，用以在计算机图形学应用中控制细节水平（level of detail，LOD）（本质上，这是图像金字塔的3D模拟）。

13.3.3 几何图像

使用规则的三角剖分来实现对缓存高效的方式压缩和存储。

12.4 基于点的表达

尽管模型在形变或被拟合时可以对模型重新网络化，但一个更简单的解决方法是整个免除显式的三角网格，而是使用有向点（或称粒子），或表面元（surfel）代替三角形的顶点。

12.5 体积表达

3D表面建模的第三个选项是建立3D体积内部-外部函数

12.6 基于模型的重建

如果我们事先对待模型的物体有所了解，我们可以使用专门的方法及表达建立更详细而可靠的3D模型。例如，建筑物通常由大块平面区域及其他参数化形式（例如旋转曲面）构成，通常方向垂直于重力方向并且相互垂直。由于人脸形状和表观的变化虽然很大，但仍是有界的，头部和人脸可以使用低维非刚性形状模型表示。人体或者部件，例如手部，是提高关节式的结构，可以使用分段刚性骨架元素通过关节链接形成的运动链表示。

12.6.1 建筑结构

建筑建模，特别是从航拍图像，是摄影制图学以及计算机视觉中研究时间最长的问题之一。

12.6.2 头部和人脸

特定形状和表观模型非常有用的另一个领域是头部和人脸建模，即使人们的表观初看是千差万别的，但一个人的头部和人脸的实际形状可以使用几十个参数很好地描述。

12.6.3 应用：脸部动画

一旦我们建立了形状和表现（表面纹理）的参数化3D模型，就可以直接使用它来跟踪人的脸部运动，并驱动一个不同的角色做同样的运动和表情

12.6.4 完整人体建模与跟踪

跟踪人体，对它们的形状和表现进行建模，并识别人体活动

12.7 恢复纹理映射与反照率

得到物体或人体的3D模型后，建模的最后一步通常是恢复纹理映射以描述物体的表面表现。

12.7.1 估计BRDF

解决视角相关表观建模的一个更进取的方法是为物体表面上每个点估计一个一般双向反射分布函数（BRDF）

12.7.2 应用：3D摄影学

从多幅图像中建立完整3D模型并接着恢复它们的表面表观

第十三章 基于图像的绘制

基于图像的绘制方法将计算机视觉领域中的三维重建（3D reconstruction）方法与计算机图形学中的绘制方法结合起来，使得计算机能够使用一个场景之多个视角的图像生成交互式的真实感体验

13.1 视图插值

视图插值方法是将两幅原始彩色图像和它们对应的预先计算好的深度图结合起来，通过插值方法生成这两张图之间视角的图像，即模拟一个虚拟摄像机在这两幅参考图像之间所拍摄到的画面。

13.1.1 视图相关的纹理映射

视图相关的纹理映射与视图插值算法密切相关。不同于为同一场景每个视图的输入图像分别关联一个深度图，在视图相关的纹理映射中，我们只为场景生成一个唯一的3D模型

13.1.2 应用：照片游览

系统使用由运动到结构信息计算出所有拍摄照片的摄像机在三维空间中的位置和姿态，同时也计算出场景的稀疏3D点云模型

13.2 层次深度图像

传统的视图插值方法需要为每一幅源图像或参考图像都关联一幅深度图像。不幸的是，当我们把这些深度图像卷绕到新的视角时，前景物体后将不可避免地出现一些空洞和裂缝。缓解该问题的一个办法是在参考图像中为每一个像素（或者至少在前景-背景过渡区域的一些像素）关联多个深度和颜色值（深度像素）。这种数据结构叫“层次深度图像”。

13.3 光场与发光图

考虑问题：是否有可能捕捉和绘制从所有可能的视点观测到的场景的外观，如果能，得到的结构复杂度如何?

13.3.1 非结构化发光图

当发光图中的源图像是以非结构化（非正规）的方式采得时，我们就无法将光线重采样得到一个正规分片的数据结构

13.3.2 表面光场

如果物体是完全漫反射的，忽略遮挡，这可以用3D图形学算法或z缓冲处理，所有通过一个给定表面点的所有光线颜色值应该是相同的。因此，在这种情况下，光场退化为通常意义下定义在物体表面的二维纹理映射。相反的，如果物体表面是完全镜面反射的（例如镜子），那么每一个表面点将反射该点周围环境的一个缩影。

13.3.3 应用：同心拼图

基于光场的绘制，一个简单且实际的应用是带视差的全景图，即用一个绕固定旋转点旋转的摄像机拍摄的一段视频或一系列照片。这些视频和照片可以通过将摄像机固定于架在三脚架上的云台上拍摄得到，甚至更简单的，还可以通过手持摄像机伸直手臂然后绕一个固定的竖直轴旋转自己的身体拍摄得到。

13.4 环境影像形板

环境影像形板（environment matte）可以看做是对物体抠图的推广，它不仅将物体从一幅图像中剪切粘贴到另一幅图像，还考虑了物体和环境之间的折射、反射等精细的相互影响。

13.4.1 更高维光场

如果我们想处理动态光场的情况，我们还需要增加一个时间维度。类似的，如果我们还希望光的波长符合一个连续的分布，则波长成为另一个维度。

13.4.2 从建模到绘制

建模到绘制，是几何到图像的过渡过程

13.5 基于视频的绘制

13.5.1 基于视频的动画

基于视频的动画的早期工作是视频改写，它可以将源视频片段中的帧进行重新排列从而使视频可以与新的台词对应

13.5.2 视频纹理

将视频片段转换成一段无限长、一直播放的连续动画，以此来代替静态图像或在循环播放过程中会出现间断的视频，这就是视频纹理的基本概念。

13.5.3 应用：图片动画

可以将单张静态图片也重新绘制成无限长的视频

13.5.4 3D视频

近年来，3D电影引人注目地流行起来了，目前，这些影片和视频都是通过立体视觉摄像设备拍摄的，在影院（或家中）放映室观看者需要佩戴偏振眼睛。

13.5.5 应用：基于视频的游览

在目标环境中移动摄像机进行拍摄，然后回放视频进行交互式视频浏览就显得更有意义。