Pointfilter: Point Cloud Filtering via Encoder-Decoder Modeling论文解读

Pointfilter: Point Cloud Filtering via Encoder-Decoder Modeling 论文解读

1. METHOD

学习的是位移矢量，噪点+位移矢量=去噪后的点

1.1 Preprocessing

给定一组点云$P$和$\hat{P}$，定义噪声块$\hat{\mathcal{P}}$和其对应的真实块$\mathcal{P}$
P i ^ = { p j ^ ∣ ∥ p j ^ − p i ^ ∥ < r } P i = { p j ∣ ∥   p j − p i ∥ < r } \hat{\mathcal{P_i}} = \{\hat{p_j} \mid \Vert\hat{p_j}-\hat{p_i}\Vert < r\}\\ \mathcal{P_i}= \{p_j \mid \Vert\ p_j-p_i \Vert < r\} Pi​^​={pj​^​∣∥pj​^​−pi​^​∥<r}Pi​={pj​∣∥ pj​−pi​∥<r}
$r$是块的半径，一般为模型包围盒对角线的5%。

一旦生成了块，在点云滤波中就要考虑两个问题：

1. 如何避免观察域中不必要的自由度；
2. 如何保证Pointfilter对某些几何变换敏感。

对于问题1，可以将块变换到原点（以$\widehat{p_i}$为中心），并且进行以下伸缩变换
$$\begin{gathered} \widehat{{\mathcal{P}}_i}=(\widehat{{\mathcal{P}}_i}-\widehat{p_i})\text{/}r \\ {\mathcal{P}}_i=({\mathcal{P}}_i-\widehat{p_i})\text{/}r \end{gathered}$$
为了保证刚体不变性，将输入块的PCA主轴与笛卡尔空间进行对齐（先对齐z轴，再对齐x轴）。

为了方便调参，设置输入块的点的默认数量为$\mid \widehat{{\mathcal{P}}_i}\mid =500$。当块点的数量小于500，填充；当点数大于500，进行随机下采样。

1.2 The Pointfilter Framework

主要想法：根据其相邻结构将每个噪声点投影到基础表面上。

The key idea of our Pointfilter is to project each noisy point onto the underlying surface according to its neighboring structure.

为了实现上诉想法，作者设计了有个编码-解码网络。

1.2.1 Encoder

输入：经过PCA处理的点云块。

目的：从输入块中获得复杂的表示信息。

编码器包含两个部分：

1. 特征提取器（MLPs），提取不同尺度的特征。
2. 收集器(collector)，将特征（$N\times 1024$）转化为一个1024维向量。(max pooling)

对于图中的shared Parameters，其实并没有什么特别的地方，其实就是MLPs。PointNet上也是这么写的。代码和PointNet差不多，不过增加了Batch Normalization，以保证每一层特征都是标准分布。

代码如下：

class pointfilter_decoder(nn.Module):
    def __init__(self):
        super(pointfilter_decoder, self).__init__()

        self.fc1 = nn.Linear(1024, 512)
        self.fc2 = nn.Linear(512, 256)
        self.fc3 = nn.Linear(256, 3)

        self.bn1 = nn.BatchNorm1d(512)
        self.bn2 = nn.BatchNorm1d(256)

        self.dropout_1 = nn.Dropout(0.3)
        self.dropout_2 = nn.Dropout(0.3)

    def forward(self, x):
        x = F.relu(self.bn1(self.fc1(x)))
        # x = self.dropout_1(x)
        x = F.relu(self.bn2(self.fc2(x)))
        # x = self.dropout_2(x)
        x = torch.tanh(self.fc3(x))

        return x

1.2.2 Decoder

解码器就比较暴力，直接FCN。但在最后要将点转回原来的坐标域，所以要乘$R^{-1}$。

至于最后为什么有个$+$，通过后面公式
$$\overline{p_i}=r{R}^{-1}f(R(\widehat{{\mathcal{P}}_i}-\widehat{p_i}/r))+\widehat{p_i}$$
可知，所学习的内容其实是去噪去掉的部分，对于点来说，其实$r{R}^{-1}f(R(\widehat{{\mathcal{P}}_i}-\widehat{p_i}/r))$就是一个位移矢量。

代码如下：

class pointfilter_decoder(nn.Module):
    def __init__(self):
        super(pointfilter_decoder, self).__init__()

        self.fc1 = nn.Linear(1024, 512)
        self.fc2 = nn.Linear(512, 256)
        self.fc3 = nn.Linear(256, 3)

        self.bn1 = nn.BatchNorm1d(512)
        self.bn2 = nn.BatchNorm1d(256)

        self.dropout_1 = nn.Dropout(0.3)
        self.dropout_2 = nn.Dropout(0.3)

    def forward(self, x):
        x = F.relu(self.bn1(self.fc1(x)))
        # x = self.dropout_1(x)
        x = F.relu(self.bn2(self.fc2(x)))
        # x = self.dropout_2(x)
        x = torch.tanh(self.fc3(x))

        return x

1.2.3 Loss function

为了尽可能的保证去噪后的点云接近于真实点云，并且能够保留尖锐的特征，作者定义了两种loss。
$$L_{proj}^a=\frac{{\sum }_{p_j\in {\mathcal{P}}_i}\mid (\overline{p_i}-p_j)\cdot n_{p_j}^T\mid \cdot \varphi (\Vert \overline{p_i}-p_j\Vert )}{{\sum }_{p_j\in {\mathcal{P}}_i}\varphi (\Vert \overline{p_i}-p_j\Vert )}$$
其中，$n_{pj}$是真实点云中$p_j$的法向，$\varphi (\Vert \overline{p_i}-p_j\Vert )$是高斯函数
$$\varphi (\Vert \overline{p_i}-p_j\Vert )=exp(\frac{\Vert \overline{p_i}-p_j{\Vert }^2}{{\sigma }_p^2})$$
其中，${\sigma }_p$定义为${\sigma }_p=\sqrt{diag/m}$，$diag$的大小为${\mathcal{P}}_i$的包围盒的对角线长度，$m=\mid \widehat{{\mathcal{P}}_i}\mid$。

除了保证去噪后的点云接近真实点云，还希望去噪后的点分布均匀。为了达成这一目标，用排斥项来惩罚点的聚合。
$$L=\eta L_{proj}^a+(1-\eta )L_{rep},L_{rep}=ma{x}_{p_j\in {\mathcal{P}}_i\mid }\overline{p_i}-p_j\mid$$
其中，$\eta$为权衡参数，作者设$\eta =0.97$进行训练。

上面这个loss的定义有点像高斯滤波。事实上，在实验的过程中，使用这一loss，确实会使尖锐的特征变得平滑。基于双边滤波在保留特征上的优势，作者增加了当前点与领域点的法向相似性作为约束，得到了如下loss:
$$L_{proj}^b=\frac{{\sum }_{p_j\in {\mathcal{P}}_i}\mid (\overline{p_i}-p_j)\cdot n_{p_j}^T\mid \cdot \varphi (\Vert \overline{p_i}-p_j\Vert )\theta (n_{\overline{p_i}},n_{p_j})}{{\sum }_{p_j\in {\mathcal{P}}_i}\varphi (\Vert \overline{p_i}-p_j\Vert )\theta (n_{\overline{p_i}},n_{p_j})}$$
其中
$$\theta (n_{\overline{p_i}},n_{p_j})=exp(-\frac{1-n_{\overline{p_i}}^T{n}_{p_j}}{1-cos({\sigma }_n)})$$
${\sigma }_n$是支持角，默认设为15°，噪声块中每个点的法向$n_{\overline{p_i}}$定义为离其最近的真实块中的点的法向。

2 优缺点

2.1 优点

1. 可以学习复杂和紧凑的点云的表示形式。
2. 结合了一些传统的去噪方法进行loss设计。

2.2 缺点

在噪声很多的情况下，对尖锐的噪声保留效果不是很好。