基于四元数的存在外点Wahba问题的可证明最优解

论文地址
论文视频

文章导读

为什么这次要解读这篇文章？因为上次文章（详见 TEASER | 快速且可证明的点云配准算法和代码解读）旋转求解部分就是用本文中的方法，所以本文算是TEASER方法的前置工作。因此通过理解本文的内容，那么就会对TEASER旋转部分有更深入的理解。本文使用截断最小二乘将Wahba问题转化为优化问题，然后经过一系列操作产生了一个等价非凸二次约束二次规划问题，最终根据该问题的特性提出相应算子求解和证明，这是一个可证明最优性并且可同时处理高外点率的多项式时间方法。

摘要

Wahba问题，也称为旋转搜索，寻求最佳的旋转来对齐两组给定假定对应的向量观测值，它是许多计算机视觉和机器人应用中的一个基本例程。本文提出了第一个多项式时间可证明的最优方法来解决当大量的向量观测值是外点时的Wahba问题。我们的第一个贡献是利用截断最小二乘（TLS）代价来描述Wahba问题，该代价对大量的伪对应不敏感。第二个贡献是使用单位四元数重写问题，并且证明了TLS代价可以用二次约束二次规划（QCQP）来描述。因为上述产生的优化问题仍然是强烈非凸以及很难全局求解，因此我们的第三个贡献是开发一个凸半定规划（SDP）松弛方法。我们证明了尽管单纯的松弛方法通常表现不佳，但我们的松弛方法是紧的，甚至在大噪声和大量外点时仍然时紧的。我们在合成和真实数据集上验证提出的算法，该算法称为QUASAR（基于四元数的鲁棒对齐半定松弛算法），结果表明我们的算法超越了RANSAC，鲁棒局部优化方法，全局外点移除方法以及Branch-and-Bound方法。QUASAR甚至在95%的对应都是外点的情况下仍然能够计算可证明的最优解（即松弛是准确的）。

主要贡献

1. 利用截断最小二乘（TLS）代价来描述Wahba问题，该代价对大量外点是鲁棒的，我们称这里产生的优化问题为（外点）鲁棒Wahba问题。
2. 从旋转矩阵表示出发，用单位四元数重写鲁棒Wahba问题。此外，我们证明了使用添加的二值变量如何重写TLS代价函数，该二值变量可以决定一个测量是内点还是外点。最终，我们证明（包含一个四元数和N个二值变量的）混合整数规划可以重写为包含N+1个单位四元数的优化问题。这个重新参数化的序列，我们称之为二进制克隆（binary cloning），最终产生了一个非凸二次约束二次规划（QCQP）问题。
3. 提供了QCQP问题的多项式时间可证明最优算子。因为QCQP是强烈非凸的以及难以全局求解，所以我们提出了一个经验上紧的半定规划（SDP）松弛方法。我们证明了虽然单纯的松弛方法不是紧的因此实际上表现不佳，但我们提出的方法能够保持紧度，甚至是在观测到95%外点的情况下。我们的方法是可证明最优的，因为它提供了一种检查结果解最优性的方法，并在实际问题中计算最优解。据我们所知，这是第一个解决拥有可证明最优性保证的鲁棒Wahba问题的多项式时间方法。

算法流程

1. Wahba问题数学模型

给定两组向量 $a_i,b_i\in {\mathbb{R}}^3,i=1,...,N$，Wahba问题被建模为一个最小二乘问题
$$\underset{R\in SO(3)}{\min }\sum _{i=1}^N{w}_i^2||b_i-R{a}_i|{|}^2$$

2. 鲁棒Wahba问题数学模型

使用截断最小二乘（TLS）代价函数，则原始Wahba问题转换为鲁棒Wahba问题$$\underset{R\in SO(3)}{\min }\sum _{i=1}^{N}min(\frac{1}{{\sigma }_i^2}||b_i-R{a}_i|{|}^2,{\bar{c}}^2)$$

3. 四元数参数化的鲁棒Wahba问题

向量 $a\in {\mathbb{R}}^3$ 的旋转可以用单位四元数乘积来表示，即
$$\left[\begin{array}{c}Ra\\ 0\end{array}\right]=q\otimes \hat{a}\otimes q^{-1}$$其中齐次化 $\hat{a}=[a^{T}0{]}^T$
使用单位四元数参数化旋转，基于四元数的鲁棒Wahba问题为
$$\underset{q\in S^3}{\min }\sum _{i=1}^{N}min(\frac{1}{{\sigma }_i^2}||\widehat{b_i}-q\otimes {\hat{a}}_i\otimes q^{-1}|{|}^2,{\bar{c}}^2)$$其中定义 ${\hat{a}}_i\doteq [a_i^{T}0{]}^T$ 和 ${\hat{b}}_i\doteq [b_i^{T}0{]}^T$

4. 混合整数规划问题

引入二值变量 ${\theta }_i,i=1,...,N$，则基于四元数的鲁棒Wahba问题可以重写为一个混合整数规划问题
m i n q ∈ S 3 θ i = { ± 1 } ∑ i = 1 N 1 + θ i 2 ∣ ∣ b ^ i − q ⊗ a ^ i ⊗ q − 1 ∣ ∣ 2 σ i 2 + 1 − θ i 2 c ˉ 2 \mathop{min}\limits_{ q \in S^3 \atop \theta_i=\left \{ \pm1 \right \} }\sum\limits_{i=1}^N \frac{1+\theta_i}{2}\frac{||\hat{b}_i-q\otimes\hat{a}_i \otimes q^{-1}||^2}{\sigma_i^2} + \frac{1-\theta_i}{2}\bar{c}^2 θi​={±1}q∈S3​min​i=1∑N​21+θi​​σi2​∣∣b^i​−q⊗a^i​⊗q−1∣∣2​+21−θi​​cˉ2这样就可以去掉TLS代价函数中的 “$min$”，同时二值变量 { θ i } i = 1 N \left \{ \theta_i\right \}^N_{i=1} {θi​}i=1N​决定了测量值是内点还是外点，显然内点时 ${\theta }_i=+1$，外点时 ${\theta }_i=-1$

5. N+1个四元数的优化问题

定义N个四元数 $q_i\doteq {\theta }_{i}q,i=1,...,N$，则混合整数规划问题可以重写为 N+1 个四元数优化问题
m i n q ∈ S 3 q i = { ± q } ∑ i = 1 N ∣ ∣ b ^ i − q ⊗ a ^ i ⊗ q − 1 + q T q i b ^ i − q ⊗ a ^ i ⊗ q i − 1 ∣ ∣ 2 4 σ i 2 + 1 − q T q i 2 c ˉ 2 \mathop{min}\limits_{ q \in S^3 \atop q_i=\left \{ \pm q \right \} }\sum\limits_{i=1}^N \frac{||\hat{b}_i-q\otimes\hat{a}_i \otimes q^{-1}+q^Tq_i \hat{b}_i-q \otimes \hat{a}_i \otimes q_i^{-1}||^2}{4\sigma_i^2} + \frac{1-q^Tq_i}{2}\bar{c}^2 qi​={±q}q∈S3​min​i=1∑N​4σi2​∣∣b^i​−q⊗a^i​⊗q−1+qTqi​b^i​−q⊗a^i​⊗qi−1​∣∣2​+21−qTqi​​cˉ2该问题也可以称为 binary cloning，显然内点时 $q_i=q$，外点时 $q_i=-q$

6. QCQP问题

将上述 N+1 个四元数堆叠起来，定义一个列向量 $x=[q^T{q}_1^T...q_N^T{]}^T$，则 binary cloning 问题等价于一个二次约束二次规划问题
m i n x ∈ R 4 ( N + 1 ) q i = { ± q } ∑ i = 1 N x T Q i x \mathop{min}\limits_{ x \in \mathbb{R}^{4(N+1)} \atop q_i=\left \{ \pm q \right \} }\sum\limits_{i=1}^N x^TQ_ix qi​={±q}x∈R4(N+1)​min​i=1∑N​xTQi​x$$subjectto{x}_q^T{x}_q=1$$$$x_{q_i}{x}_{q_i}^T=x_q{x}_q^T,\forall i=1,...,N$$ 其中 $Q_i\in {\mathbb{R}}^{4(N+1)\times 4(N+1)}(i=1,...,N)$ 是依赖于3D向量 $a_i$ 和 $b_i$ 的已知对称矩阵，可以通过推导得出$$[Q_i{]}_{uv}=\{\begin{array}{l}{Q}_{ii}ifu=q_{i}andv=q_i\\ Q_{0i}ifu=qandv=q_{i}oru=q_{i}andv=q\\ 0_{4\times 4}otherwise\end{array}$$其中 $Q_{ii}=\frac{(||b_i|{|}^2+||a_i|{|}^2)I_4+2{\Omega }_1({\hat{b}}_i){\Omega }_2({\hat{a}}_i)}{2{\sigma }_i^2}+\frac{{\bar{c}}^2}{2}{I}_4$，$Q_{0i}=\frac{(||b_i|{|}^2+||a_i|{|}^2)I_4+2{\Omega }_1({\hat{b}}_i){\Omega }_2({\hat{a}}_i)}{4{\sigma }_i^2}-\frac{{\bar{c}}^2}{4}{I}_4$，那么 $$\sum _{i=1}^N{q}_i^T{Q}_{ii}{q}_i+2q^T{Q}_{0i}{q}_i=\sum _{i=1}^N{x}^T{Q}_{i}x$$

7. 半定松弛

因为二次等式约束是非凸的，所以上述 QCQP 问题仍然是非凸且NP-hard的，之后就需要对该问题开发一个凸半定规划松弛。
首先定义 $Q\doteq \sum _{i=1}^N{Q}_i$，然后定义$$Z=x{x}^T=\left[\begin{array}{ccccc}& q{q}^T& q{q}_1^T& ...& q{q}_N^T\\ & \ast & q{q}_1^T& ...& q{q}_N^T\\ & .& .& ...& .\\ & .& .& ...& .\\ & .& .& ...& .\\ & \ast & \ast & ...& q_N{q}_N^T\end{array}\right]$$可以得到$$\sum _{i=1}^N{x}^T{Q}_{i}x=x^{T}Qx=tr(Qx{x}^T)=tr(QZ)$$那么QCQP问题就等价于以下的非凸规划$$\underset{Z⪰0}{\min }tr(QZ)$$$$subjecttotr([Z{]}_{qq})=1$$$$[Z{]}_{q_i{q}_i}=[Z{]}_{qq},\forall i=1,...,N$$$$rank(Z)=1$$上述非凸问题中的非凸性就显而易见了，因为唯一的非凸性就是秩1约束了，所以只需要将秩约束直接去掉就可以得到标准半定规划松弛
$$\underset{Z⪰0}{\min }tr(QZ)$$$$subjecttotr([Z{]}_{qq})=1$$$$[Z{]}_{q_i{q}_i}=[Z{]}_{qq},\forall i=1,...,N$$但是上述标准半定规划松弛对于存在外点的测量值并不能保持紧度，所以在此基础上增加冗余约束从而加强半定规划松弛的紧度，得到冗余约束半定规划松弛，这里称为 QUASAR 算法$$\underset{Z⪰0}{\min }tr(QZ)$$$$subjecttotr([Z{]}_{qq})=1$$$$[Z{]}_{q_i{q}_i}=[Z{]}_{qq},\forall i=1,...,N$$$$[Z{]}_{q{q}_i}=[Z{]}_{q{q}_i}^T,\forall i=1,...,N$$$$[Z{]}_{q_i{q}_j}=[Z{]}_{q_i{q}_j}^T,\forall 1\le i\le j\le N$$

8. 鲁棒性/紧度的认证

如果上述凸的半定规划松弛的最优解 $Z^{\ast }$ 秩为1，那么 $Z^{\ast }$ 可以分解为 $Z^{\ast }=(x^{\ast })(x^{\ast }{)}^T$，且 $x\doteq [(q^{\ast }{)}^T(q_1^{\ast }{)}^T...(q_N^{\ast }{)}^T{]}^T$ 是非凸 QCQP 问题的全局最优解。

实验结果

1. 标准半定规划松弛和冗余约束半定规划松弛比较

从上面左图可以看出，在没有外点的时候，两种松弛都是紧的；但当测量值中包含越来越多外点时标准松弛变得越来越松散，并且在40%外点率时直接失效；相反，无论外点率为多大，QUASAR一直能够保持紧度。通过上面右图可以进一步确认紧松弛(也就是QUASAR)能够保持更精准旋转估计

2. Benchmark测试

QUASAR和闭式解(Wahba)，RANSAC，FGR(Fast Global Registration)以及GORE(Guaranteed Outlier Removal)方法进行比较
外点率不同(0-90%)，固定内点噪声为较低水平(0.01)的结果：

外点率不同(0-90%)，固定内点噪声为较高水平(0.1)的结果：

极端外点率(91-96%)的结果

3. 应用：图像拼接

使用SURF特征描述子匹配和建立对应点关系，然后使用QUASAR计算两个相机帧之间的相对旋转$R$，结果如下

可以看到，QUASAR在外点很多以及两张图像重叠区域较小时仍然能够进行精准拼接，效果不错。

总结

这个工作提出了一个多项式时间的可证实最优解的算法，用于Wahba问题的求解。虽然该方法很鲁棒，计算效率也比较理想(多项式时间)，但还是有一些问题的，实验中的问题规模最大只是100，这里受限制的原因是通用的SDP算子在大规模问题上会计算很慢，可以预见该方法在大规模点云重定位上会表现不佳，所以有一个未来的研究方向：开发快速专用的SDP算子，可以参考 IJRR18 的经典论文"SE-Sync: a certifiably correct algorithm for synchronization over the Special Euclidean group."
之前介绍过该作者 TRO20 TEASER 的工作，里面的旋转估计框架就是这篇ICCV文章里的方法，所以该工作是 TEASER 的前置工作，并且 Supplementary Material 里有各种引理，定理的证明，包括如何利用四元数的转换推导，QCQP中二次目标和二次约束的构建，Lagrangian duality和Karush-Kuhn-Tucker (KKT) 的使用和证明，再一次说明作者一系列工作都很solid，非常值得学习和研究。之后将会为大家带来 TEASER 中另一个前置工作 RSS2019 “A Polynomial-time Solution for Robust Registration with Extreme Outlier Rates”，敬请期待。