PCl：PointNet++讲解（三）

---

一、点云数据特征

• 无序性：只是点而已，排列顺序不影响
• 近密远疏的特性：扫描与视角不同导致
• 非结构化数据，直接CNN有点难

二、PointNet

1. PointNet基本出发点

• 由于点的无序性导致，需要模型具有置换不变性
  $$f(x_1,x_2,......,x_n)\equiv f(x_{{\pi }_1},x_{{\pi }_2},......,x_{{\pi }_n}),x_i\in {\mathbb{R}}^D$$
• 直接使用Max函数（简单粗暴）----- 损失太多特征 ----- 升维然后再做Max操作（其实就是神经网络的隐层）
  $$f(x_1,x_2,......,x_n)\equiv \gamma \circ f(h(x_1),h(x_2),......,h(x_n)),x_i\in {\mathbb{R}}^D$$

2. 基本模型架构

• 分别对每个点进行特征提取（卷积或者全连接），再MAX得到全局进行输出
  

2. 整体网络架构

• 分类就是得到整体特征再输出；分割就是各个点特征输出结果
  

3. PointNet有哪些问题

• 根当下主流网络不符，没有局部特征，要不自己，要么一个整体
• 没有关系概念，局部样本点之间肯定存在关系的，没有考虑到
• PointNet++版本要从局部入手，多利用局部特征
• 注：pointNet ++整体思想不便，只不过再特征提取处使用类似图卷积的方式来整合特征

4. PointNet++

1. 基本出发点

• 基于半径选择局部区域（类似得到很多个簇）
• 针对得到的每个区域进行特征提取（卷积）
  
• 要解决的问题1：如何选择区域（簇中心点选择）
• 要解决的问题2：簇半径大小如何定义，每个簇中选择多少个样本点

2. 步骤

• 第一步先确定好每一个局部区域，接下来对局部区域执行pointnet
  

1). 采样：最远采样点（farthest point sampling）

• 先随机选择一个点A，计算所有点到点A的距离，选择到点A距离最远的一个点B
• 计算所有点到A的距离$d_{A_i}$，计算所有点到B的距离$d_{B_i}$，取两者中小的$d_i=min(d_{A_i}，d_{B_i})$，取距离最大的点C。
• 其他采样点类似

2). 分组：gouping

• 分组后每个组中的点的个数必须一致，少：取离簇中心最近的点进行复制多份，多：将里簇中心最远的多个点舍去。
• 实际计算时是选择多种半径，多种样本点个数，得到的多个特征进行拼接，目的是特征更丰富。eg：半径 = (0.1, 0.2, 0.4)；对应簇的样本个数（16, 32, 64）

3). 对各组进行特征提取

• 先进性纬度变换 $$b\ast npoints\ast nsample\ast features$$ $$(8\ast 128(簇个数)\ast 1(每个簇中点的个数)\ast 6(纬度)->8\ast 6\ast 16\ast 128（顺序变化）)$$
• 进行卷积操作（eg：in=6，out=64），得到(86416*128)
• 得到每个簇的特征，一个簇对应一个特征
• 在对所有簇进行MAX，得到一个特征
• 继续做多组采样，分组，卷积，将得到的特征进行拼接
• 最终都得到batch中心点个数特征（但是特征个数可能不同）
• 执行拼接操作

3. 分类整体网络架构

4. 分割整体网络架构

5. 遇到的问题

• PointNet ++ 容易受样本点个数的影响
  

6. 改进的设计

• 多半经进行特征拼接或者跨层来提取不同分辨率特征