PointNet学习笔记（二）——支撑材料（理论证明）

PointNet学习笔记（二）——支撑材料（理论证明）

这一部分记录了PointNet中两个定理的证明和博主的学习笔记。具体的定理可以参见论文学习笔记，这里仅给出证明。更新于2018.10.12。

Theorem 1

定理1要证明的是设计的网络结构能够模拟任意一个连续（依照具体定义）的函数，且最差的情况是将空间内等分成立方体。

令 X = { S : S ⊆ [ 0 , 1 ]    and    ∣ S ∣ = n } \mathcal X = \{S:S\subseteq [0,1] \;\text{and}\; \vert S\vert =n\} X={S:S⊆[0,1]and∣S∣=n}。
如果满足下列条件，$f:\to \mathbb{R}$是一个$\mathcal{X}$上对于Hausdorff距离$d_H(\cdot ,\cdot )$连续的函数：
$$\forall ϵ>0,\exists \delta >0,使得任意S,S^{\prime }\in \mathcal{X},若d_H(S,S^{\prime })<\delta ,有|f(S)-f(S^{\prime })|<ϵ$$

这里需要证明的是$f$可以被任意一个对称函数和连续函数近似。

证：
由$f$的连续性，取${\delta }_{ϵ}$使得若$d_H(S,S^{\prime })<{\delta }_{ϵ}$，那么对于任意$S,S^{\prime }\in \mathcal{X}$都有$|f(S)-f(S^{\prime })|<ϵ$。
定义$$\begin{gathered} K=\lceil 1/\delta { \\ }_{ϵ}\rceil \end{gathered}$$，将区间$[0,1]$等分成$K$份；再定义一个辅助函数，其作用是将一个点映射到它所在区间的左侧端点处：
$$\sigma (x)=\frac{\lfloor Kx\rfloor }{K}$$
令 S ~ = { σ ( x ) : x ∈ S } \tilde S=\{\sigma(x):x\in S\} S~={σ(x):x∈S}，那么由于$d_H(S,\tilde{S})<1/K\le {\delta }_{ϵ}$，因此有：
$$|f(S)-f(\tilde{S})|<ϵ$$

令$h_k(x)=e^{-d(x,[\frac{k-1}{K},\frac{k}{K}])}$为一个软指示函数（soft indicator function），其中$d(x,I)$是点到集合（间隔）的距离。令$\mathbf{h}(x)=[h_1(x);\cdots ;h_K(x)]$，则$\mathbf{h}:\mathbb{R}\to {\mathbb{R}}^K$。

博主注：指示函数（indicator function）是用来标注一个点是否属于集合，如果属于值为1，反之值为0。$h_k(x)$的含义就是$x$是否属于集合$k$的指示函数。

令 v j ( x 1 , ⋯   , x n ) = max ⁡ { h ~ j ( x 1 ) , ⋯   , h ~ j ( x n ) } v_j(x_1,\cdots ,x_n)=\max\{\tilde h_j(x_1),\cdots , \tilde h_j(x_n)\} vj​(x1​,⋯,xn​)=max{h~j​(x1​),⋯,h~j​(xn​)}，用于指示$S$中的点对于第$j$个间隔的占用。令$\mathbf{v}=[v_1;\cdots ;v_K]$；那么 v : R × ⋯ × R ⏟ n → { 0 , 1 } K \mathbf v:\underbrace{\mathbb R \times \cdots \times \mathbb R}_n \to \{0,1\}^K v:n R×⋯×R​​→{0,1}K就是一个对称函数，记录了$S$中的点对所有间隔的占用。

博主注：对称函数（symmetric function）是指输出不会随输入的顺序改变，比如对称矩阵就可以看作是行序号与列序号的对称函数。

定义 τ : { 0 , 1 } K → X \tau:\{0,1\}^K\to\mathcal X τ:{0,1}K→X其中 τ ( v ) = { k − 1 K : v k ≥ 1 } \tau(\mathcal v)=\{\frac{k-1}{K}:\mathcal v_k\geq 1\} τ(v)={Kk−1​:vk​≥1}，其将占用向量（occupancy vector）映射到每个所占用的区间的左端点。不难得到：
$$\tau (\mathbf{v}(x_1,\cdots ,x_n))\equiv \tilde{S}$$
其中$x_1,\cdots ,x_n$是从$S$中按照某种特定顺序提取出来的元素。

令$\gamma :{\mathbb{R}}^K\to \mathbb{R}$是一个连续函数使得$\gamma (\mathbf{v})=f(\tau (\mathbf{v}))$对 v ∈ { 0 , 1 } K \mathcal v\in \{0,1\}^K v∈{0,1}K成立。那么，
$$\begin{gathered} |\gamma (\mathbf{v}(x_1,\cdots ,x_n))-f(S)| \\ =|f(\tau (\mathbf{v}(x_1,\cdots ,x_n)))-f(S)|<ϵ \end{gathered}$$

由于$\gamma (\mathbf{v}(x_1,\cdots ,x_n))$可以写成如下形式：
$$\begin{gathered} \gamma (\mathbf{v}(x_1,\cdots ,x_n))=\gamma (\text{MAX}(\mathbf{h}(x_1),\cdots ,\mathbf{h}(x_n))) \\ =(\gamma \circ \text{MAX})(\mathbf{h}(x_1),\cdots ,\mathbf{h}(x_n)) \end{gathered}$$

显然$\gamma \circ \text{MAX}$是一个对称函数。
得证。

Theorem 2

下面给出定理2的证明。定义 u = MAX x i ∈ S { h ( x i ) } \mathbf u = \mathop{\textbf{MAX}}\limits_{x_i\in S}\{h(x_i)\} u=xi​∈SMAX​{h(xi​)}是$f$的一个子网络，其中$f$将区间$[0,1{]}^m$中的点映射成$K$维的向量。定理2证明了小的扰动或多余的噪声点不太可能引起网络的输出变化。

证：

显然，$\forall S\in \mathcal{X}$，$f(S)$都由$\mathbf{u}(S)$决定。因此，只需要证明$\forall S,\exists {\mathcal{C}}_S,{\mathcal{N}}_S\subseteq \mathcal{X}$，使得如果${\mathcal{C}}_S\subseteq T\subseteq {\mathcal{N}}_S$，有$f(T)=f(S)$。

对于$\mathbf{u}$的第$j$维输出，总存在至少一个$x_j\in \mathcal{X}$，使得$h_j(x_j)={\mathbf{u}}_j$，其中$h_j$是$h$对应输出的第$j$维。

博主注：这是因为，从定理1的证明中我们可以看出，$\mathbf{u}$是对$h(x)$取最大值得到的，也就是说，至少应该有一个$h_j(x_j)$对应了该最大值，因此存在至少一个$x_j$使得上式成立。此时，这个$x_j$恰好也就对应了占用该段$S$的最大值。

将${\mathcal{C}}_S$视作所有$x_j$的集合，其中$j=1,\cdots ,K$。那么，${\mathcal{C}}_S$满足上述条件。

向${\mathcal{C}}_S$中的所有维度增加满足$h(x)\le \mathbf{u}(S)$条件的点$x$都不会改面$\mathbf{u}$，因此也不会改变$f$。因此，将所有这样的点集合进${\mathcal{N}}_S$就可以得到${\mathcal{T}}_S$。

得证。