【点云处理之论文狂读经典版5】—— Deep Sets

摘要

• 我们研究了定义在sets上的机器学习任务模型设计问题
• 考虑了定义在sets上的目标函数，该函数是permutation-invariant的
• 主要理论定义了invariant function的特征，并且提供了任意permutation invariant目标函数应当属于的函数族
• 推导了permutation-invariant在深度模型中的充要条件

1.引言

• 提出了一个基础框架DeepSets，解决了输入为sets的情况。
• 将这种结构进行扩展以适应任何目标的情况
• 开发了一种deep network，该网络可以对具有任意尺寸的sets进行操作
• 在有监督和半监督设置中，简单的parameter-sharing scheme能够对sets进行一般的处理
• 通过实验证明，在不同的任务中，我们网络的泛化性很好

2.Permutation Invariance and Equivariance

2.1 Problem Definition

Permutation Invariance

给定一个函数$f$，能够将一个向量空间中的$\mathcal{X}\in {\mathbb{R}}^d$ 转换为另一个向量空间中的$\mathcal{Y}\in {\mathbb{R}}^c$。在$sets$上进行操作时，必须保证该函数对于sets中的元素permutation invariant，即对于任意的permutation， π : f ( { x 1 , … , x M } ) = f ( { x π ( 1 ) , … , x π ( M ) } ) \pi: f\left(\left\{x_{1}, \ldots, x_{M}\right\}\right)=f\left(\left\{x_{\pi(1)}, \ldots, x_{\pi(M)}\right\}\right) π:f({x1​,…,xM​})=f({xπ(1)​,…,xπ(M)​})

Permutation Equivariance

给定permutation equivariant函数$\mathbf{f}$，输入和输出都应当是Permutation Invariance的：
$$\mathbf{f}\left(\left[x_{\pi (1)},\dots ,x_{\pi (M)}\right]\right)=\left[f_{\pi (1)}(\mathbf{x}),\dots ,f_{\pi (M)}(\mathbf{x})\right]$$

2.2 Structure

Permutation Invariance

1. 在set $X$上操作的函数$f(X)$是一个valid set function，其中set $X$是从可数空间$\mathfrak{X}$选取出来的。当且仅当该函数可以分解为$\rho \left({\sum }_{x\in X}\varphi (x)\right)$的形式，其中$\varphi$ 和$\rho$是合适的transformations， 那么这个函数对于$X$中的元素permutation而言是invariant的。
2. 在$\mathfrak{X}$不可数的情况下，仅能证明$f(X)=$ $\rho \left({\sum }_{x\in X}\varphi (x)\right)$在固定的元素数量下成立。——定理2

Permutation Equivariance

标准的神经网络层可以表示为${\mathbf{f}}_{\Theta }(\mathbf{x})=\mathbf{\sigma }(\Theta \mathbf{x})$，其中$\Theta \in {\mathbb{R}}^{M\times M}$是权值矩阵，$\sigma :\mathbb{R}\to \mathbb{R}$是激活函数，那么permutation-equivariance的充要条件为：

Lemma 3
当且仅当$\Theta$中的非对角元素是tied together， 对角线元素都是相同的，即：
$$\Theta =\lambda \mathbf{I}+\gamma \left({11}^{\top }\right)\lambda ,\gamma \in \mathbb{R}1=[1,\dots ,1{]}^{\top }\in {\mathbb{R}}^M\mathbf{I}\in {\mathbb{R}}^{M\times M}\text{is the identity matrix}$$
那么上述定义的函数${\mathbf{f}}_{\Theta }:{\mathbb{R}}^M\to {\mathbb{R}}^M$ 是permutation equivariant的。

2.3 Related Results

de Finetti theorem

Bayesian statistics中的exchangeable model：
$$p\left(X\mid \alpha ,M_0\right)=\int \mathrm{d}\theta \left[\prod _{m=1}^{M}p\left(x_m\mid \theta \right)\right]p\left(\theta \mid \alpha ,M_0\right)$$
其中$\theta$是隐藏特征，$\alpha ,M_0$是先验的超参数。

考虑共轭先验的exponential families。在特殊情况下，$p(x\mid \theta )=\exp (⟨\varphi (x),\theta ⟩-g(\theta ))$，$p\left(\theta \mid \alpha ,M_0\right)=\exp \left(⟨\theta ,\alpha ⟩-M_{0}g(\theta )-h\left(\alpha ,M_0\right)\right)$，如果边缘掉$\theta$,，可以得到：
$$p\left(X\mid \alpha ,M_0\right)=\exp \left(h\left(\alpha +\sum _m\varphi \left(x_m\right),M_0+M\right)-h\left(\alpha ,M_0\right)\right)$$

Representer theorem and kernel machines

Spectral methods

3. Deep Sets

3.1 Architecture

Invariant model

• 定理2中permutation invariant functions的结构暗示了一种对目标set进行推理的一般策略，我们称之为DeepSet。
• 用其他通用的approximators代替$\varphi$ 和$\rho$并不会改变事情的本质，因此会得到下述模型：
• 实例$x_m$通过变换得到表示$\varphi (x_m)$
• 将表示$\varphi (x_m)$相加，并使用$\rho$网络以与任何深度网络（例如全连接的层、非线性等）相同的方式处理输出。
• 可选项：如果有额外的元信息$z$，那么上述网络就会有条件映射$\varphi (x_m|z)$。
  总之，就是将所有表示相加，然后再应用非线性变换。

Equivariant model

基于Lemma 3的公式，当式子中的权重和输入$\mathbf{x}$相乘时，会得到两个部分：

1. $\mathbf{I}\mathbf{x}$
2. $\left({11}^{\top }\right)\mathbf{x}$

由于加法并不依赖permutation，因此这样的层是permutation-equivariant。

进一步地，我们可以使用其他的方法：
$$\mathbf{f}(\mathbf{x})=\mathbf{\sigma }(\lambda \mathbf{I}\mathbf{x}+\gamma \text{maxpool}(\mathbf{x})1)$$
其中maxpool操作使得set中的元素是permutation-equivariant的。在实际应用中效果更好，这可能是因为，当$\lambda =\gamma$时，非线性的输入是最大归一化。

4.实验

4.1.3Point Cloud Classification

生词

• anomaly n. 异常，反常
• piezometer n. 压力计
• embankment dams 土石坝
• cosmology n. 宇宙学
• If and only if ——> iff 当且仅当