【论文阅读】-2019-CLASSIFICATION OF AERIAL POINT CLOUDS WITH DEEP LEARNING

Abstract

• 提出一种基于给定点云几何特征的深度学习分类方法。尽管局部受到低密度和建筑物立面缺乏点的影响，还是在ISPRS数据集上取得了预期的效果
• 在提取特征时，提出了一种提取DEM的方法（不详细介绍）

---

RELATED WORK

文章所提方法包括三部分，1.点云分割，2.几何特征提取，3.深度学习分类。流程如下，

DATA AND METHODOLOGY

Our aim is to classify aerial point clouds in order to extract buildings’ facades and roofs, vegetation and GLOs.
两大部分：1.数据准备和特征提取，2.使用深度学习分类，其中第一部分数据准备和特征提取又可以分为：1.提取几何特征，2.区域生长分割，3.DEM提取。为了提高精度，不仅依赖提取的几何特征，而且还使用了每一个点的邻域。
使用的特征：local planarity, vertical angle, elevation change and height above ground，其中为了获得height above ground（个人理解应该是归一化高程），提出了一种基于区域生长分割的DEM提取方法。

• Local Planarity
  邻域拟合一个平面，然后计算到平面的平均距离。用这个特征来区分非平面区域（植被）和平面区域（建筑立面和房顶）
  

• Vertical Angle
  每一点的法向量和水平面的夹角，可以用来区分不同方向的平面。
  

• Elevation Change
  高程变化值，邻域点的最大高程值和最小高程值之间的差值
  

• Further Features
  other geometric features are extracted from the point cloud using CloudCompare: anisotropy, surface variation, sphericity and verticality

• DEM提取
  这里不再赘述。
  

---

While analysing the segments, we control their neighbouring
points’ elevation differences and average elevation difference
between segments (Fig. 11).
Following this step, the extracted point cloud is rasterized to form
a DEM (Fig. 12), which is then used for the calculation of the
“height above ground” feature (section 3.2.7).

---

在分析分隔片时，我们控制近邻点的高程差和分隔片之间的平均高程差（图11）。 在此步骤之后，对提取的点云进行栅格化以形成DEM（图12），然后将其用于“地上高度”特征的计算（第3.2.7节）。

---

• Height Above Ground
  利用提取出的DEM就可以计算该特征了。

---

starting from a DEM (Section 3.2.5), for each point in the point cloud, the elevation difference from the closest DEM point is calculated and assigned to the point (Fig. 13).

---

Training and Classification with Deep Learning

---

We utilized a simple deep learning approach based on a neural network with five layers including: sequence input layer, bidirectional long short-term memory layer with 200 hidden units, fully connected layer, softmax layer and classification layer (Fig. 14).

---

使用 sequential deep learning approach，使用该方法可以使用邻域点来描述每一个点的几何信息。
在训练和分类的过程中使用了如下特征：height above ground, local planarity, anisotropy, surface variation, sphericity and verticality. In addition to the geometric features of the points in a sequence, we also included each point’s decentralizing the coordinates. （去中心化的点如何得到？我们在每一个sequence中减去最小的3坐标值）
通过这种几何结合坐标和几何特征的方法，我们的方法可以学习到局部几何形状和其变形
其acc和loss如下，

Results

主要讨论了点的密度及其稳定性对分类造成的影响，第一次试验分为9类效果很差；第二次试验，将点数少的几类化为一类，总的class数目变为4类，实验效果和ISPRS的平均效果接近。
讨论了the replicability of the used training was evaluated（个人理解应该是训练的模型的迁移性，就是在a数据集上训练能否用于b或c数据集），得出结论：两个数据集之间点的密度的差异是主要原因。如下图所示，

CONCLUSIONS

• The procedure relies on geometric features, which are calculated for each 3D point with their neighbouring points within a certain radius.
  该方法依赖于几何特征，几何特征是才能从每一个点的确定半径的邻域计算得来的。
• 点云密度在该方法中起了至关重要的作用。如果点稀疏，则无法正确计算几何特征，因此需要消除这些点。另外，训练数据中建筑立面点的不平衡损失导致分类错误。