MEPG PCC

MEPG PCC 调研

说明

MEPG(动态图像专家组)于2017 发布 对于 点云压缩 的提案征集（cfp），

基于对该cfp的响应，点云压缩（pcc）标准化选择两种不同的压缩技术：

基于视频的PCC(V-PCC) 和 基于几何的PCC（G-PCC) 。

专有名词

pcc: point cloud compression

mepg：Moving Picture Experts Group 动态图像专家组

mp4：Moving Picture Experts Group 4

mp3: Moving Picture Experts Group Audio Layer III

点云的定义

点云由 3D 空间中的点集合组成。 3D 空间中的每个点都有一个几何位置以及相关的属性信息（例如颜色、反射率等）

点云的采集

被动方法：被动方法使用多个摄像头，通过图像匹配和空间三角测量来推断 3D 空间中捕获的对象与摄像头之间的距离。

主动方法：主动式方法使用光源（例如红外线或激光）和反向散射反射光来测量物体与传感器之间的距离。

两种方式可以采用互补的方式使用，以改进点云的生成。捕捉技术的最新趋势是体积实验室，通过仅采用被动方式（仅使用RGB相机）或被动和主动方法的组合（使用RGB和深度相机）创造高质量的点云。

体积捕捉工作室的例子有 8i，英特尔工作室和索尼创新工作室。

点云与通讯

由于压缩效率高，V-PCC 可以在带宽受限的网络上传输点云视频。因此，它可以用于远程呈现应用[16]。例如，佩戴头戴式显示设备的用户将能够通过发送/接收使用 V-PCC 编码的点云与虚拟世界进行远程交互。

点云与世界遗产

对于文化遗产档案，使用3D传感器将对象扫描到高分辨率静态点云中[18]。许多学术/研究项目生成历史建筑或物体的高质量点云，以保存它们，并为虚拟世界创建数字副本。内容生成过程中采用了激光测距扫描仪[21]或动态结构（SfM）[22]技术。此外，G-PCC还可以使用无颜色压缩生成的点云，减少存储需求，同时保留准确的测量结果。

点云与自动驾驶

自动驾驶车辆使用点云收集周围环境的信息，以避免碰撞。如今，为了获取3D信息，车辆上安装了多个视觉传感器。激光雷达传感器就是这样一个例子: 它将周围环境捕获为随时间变化的稀疏点云序列 [17]。G-pcc可以压缩此稀疏序列，因此可以通过轻巧高效的算法帮助改善车辆内部的数据流。

点云与通讯

由于压缩效率高，V-PCC 可以在带宽受限的网络上传输点云视频。因此，它可以用于远程呈现应用[16]。例如，佩戴头戴式显示设备的用户将能够通过发送/接收使用 V-PCC 编码的点云与虚拟世界进行远程交互。

MEPG 压缩历程

浸入式远程呈现是MPEG在2013年讨论的第一个点云案例。空间中不规则分布的点的动态特性往往会生成大量数据，从而为压缩的必要性提供了初步证据。由于工业点云的兴趣增加，MPEGcollected requirements[23]，并于2017年1月开始与aCfP[4]进行PCC标准化。确定了三大类点云内容：静态表面（1类）、动态表面（2类）和动态获取的激光雷达序列（3类）。CfP发布后，几家公司以不同的压缩技术方案回应了这一呼吁。起初，MPEG确定了三种不同的技术：用于动态采集数据的激光雷达点云压缩（L-PCC）、用于静态点云数据的表面PCC（S-PCC）和用于动态内容的V-PCC[24]。由于 S-PCC 和 LPCC 之间的相似性，这两个提案后来合并为 G-PCC 并称为 G-PCC。

MEPG V-PCC

V-PCC用于稠密点云，例如代表自然对象（从一组图像中重建）或图形对象（由艺术家设计）

VPCC（video based point cloud compression）是MPEG 3DG工作组所开发的针对动态点云的压缩测试算法，核心思想是将3D点云数据通过高效的分割分方向投影算法投影到2D平面，再使用成熟的2D image压缩工具HEVC进行压缩编码.

MEPG G-PCC

G-PCC用于稀疏点云，例如在获得较大空间时由激光雷达获得的点云。