【论文精读】时序逻辑推理之反向传播参数学习 Backpropagation for Parametric STL

前言：借这里汇报一下毕业论文的进度，结构学习部分的论文和代码已经完成98%，现在回头搞参数学习发现现在掌握的方法都不能很好地契合毕设的整体结构。因此现在飞速地多看几篇，争取本周完工。

主要参考文献：
Leung, K., Arechiga, N., & Pavone, M. (2019, June). Backpropagation for Parametric STL. 2019 IEEE Intelligent Vehicles Symposium (IV). https://doi.org/10.1109/ivs.2019.8814167

---

---

概览

这篇文章结合了计算网络来完成了STL鲁棒度的计算，并且用近似方法平滑掉了鲁棒度计算中的min/max操作子，利用现有的机器学习库完成了pSTL参数的优化，优化了运算效率。

---

流水账笔记

1 Introduction

背景信息

由交通规则引入主题，驾驶行为可以用基于规则或基于逻辑的方式进行描述，因此可以用STL来描述驾驶行为中的高层特性。

本篇文章面对的依然是有复杂的时序信号中学习STL公式，从而解读系统行为。学习到的STL公式可以用于分类、预测或决策任务中。然而，由于STL空间无限大，且此任务的解并不唯一，于是借助PSTL来简化问题。

前人研究

文献[10],[13],[14]要求公式的鲁棒度函数随参数变量单调变化，且每个变量的单独分析并没有考虑到各个变量的相关性。

主要工作

本文的关键工作在于：

1. 结合了运算图 (computation graph) 对鲁棒度进行计算
2. 对min/max操作符进行了平滑近似
3. 利用了现有的机器学习工具包中的autodifferentiation, batching, ease of parallelization等工具，通过反向传播，对pSTL参数进行优化

---

2 Problem Formulation

A. STL: Syntax and Semantics

信号表示

这里的信号表示有点不一样, 用$s_i=(s,t_i)$来表示信号$s$从$t_i$时刻的后缀. 对于一条给定的信号$s$, 本文中利用上面的定义强行将$s$拆分成了$N$条序列$s_0,s_1,s_2,...,s_N$, 其中$N$为信号采样点的最大序号.

假设

1. 采样是均匀的. 但是这里并没有说明这个假设的作用, 估计是想用序号来直接代表时间?
2. 时序操作子的time window是闭区间$[a,b]$或$[a,\infty )$

STL的语法和语义

老生常谈了, 这里略过

定义

1. STL ordering: 公式$\varphi$对应的解析树的逆序遍历排序 O ϕ = { φ 1 , φ 2 , . . . , φ k } \mathcal{O}_\phi=\{\varphi_1,\varphi_2,...,\varphi_k\} Oϕ​={φ1​,φ2​,...,φk​}
2. Robustness Trace: 鲁棒度轨迹$\tau (s,t_o,\varphi )$是鲁棒度随时间变化的轨迹
3. Valid Robustness Trace: 通过方法C计算出来的鲁棒度轨迹成为有效鲁棒度轨迹
4. Soundness: 稳健性， 如果方法C能够计算出所有公式$\varphi$以及所有信号$s$的鲁棒度轨迹, 则称方法C是稳健的

B. PSTL

求解PSTL问题可以看作将一串时间序列映射为参数值, 这可以看作一种对不定长序列数据的特征提取。

处理不定长数据的方法, 尤其是比较不定长数据间相似度的方法有DWT和Skorokhod距离, 但是仍不足以用于逻辑结构的学习.

给定一条时序轨迹$s$, 求解时序逻辑公式${\varphi }_{\mathcal{P}}$的最佳赋值$v(\mathcal{P})$等效于求解以下优化问题:

$$v^{\ast }(\mathcal{P})=\underset{\mathcal{P}}{\arg }\min ||\rho (s,t,{\varphi }_{\mathcal{P}})|{|}_2$$

最理想的结果是找到使得鲁棒度为0的一组赋值.

---

3 Computation Graph Representation

A. Code Toolbox

工具包代码在这里.

依赖PyTorch.

B. Constructing the Computation Graph $\mathcal{G}$

伪代码

终于进入正题了, 那么这个计算图是怎么构建的呢? 这里给了一个仿佛没给的伪代码:

从上面我们知道了算法输入是时间序列$s$和公式模板$\varphi$, 输出是鲁棒度${\rho }^{\mathcal{G}(s,t,\varphi )}$和鲁棒度轨迹${\tau }^{\mathcal{G}(s,t,\varphi )}$.

可以看出来第二句是关键, 下面结合前面的定义来理解一下.

O ϕ = { φ 1 , φ 2 , . . . , φ k } \mathcal{O}_\phi=\{\varphi_1,\varphi_2,...,\varphi_k\} Oϕ​={φ1​,φ2​,...,φk​}是公式$\varphi$对应的解析树的逆序遍历排序. 但是解析树的构建是在算法中完成的吗? 总之解析树就长下面这样, 构建方式也比较好理解.

$\mathcal{G}$的构建需要将${\mathcal{G}}_{{\phi }_i}$, 也就是${\mathcal{O}}_{\varphi }$列表中的子公式的计算图单元按照顺序连接起来, 遵循的规律就是序号大的子图只接受来自更小序号的子图的输出.

偏序操作符

那么子图又是如何构成的呢? 对于偏序操作符 ($>,<,\le ,\ge$), 这里对是否包含等号不加以区分, 对应的子图如下:

布尔操作符

对于布尔逻辑操作符($\neg ,\wedge ,\vee$), 其计算子图如下:

上面的m根据定义是min/max函数.

时序操作符

接下来就要考虑更加复杂的时序操作符always和eventually. 这里使用了类似RNN的结构来计算eventually和always操作子的鲁棒度轨迹, 相同的结构也能够扩展至until和then操作子.

如何理解上图? 首先得明确$h_i,{\rho }_i,o_i$的含义以及计算单元所做的运算:

• ${\rho }_i$: $s_i$相对于公式$\varphi$的鲁棒度
• $h_i$: 隐藏状态
• $o_i$: 每个计算单元的输出
• 结点: 分4种情况进行以下运算

定义鲁棒度轨迹${\rho }_N$的逆序序列定义为${\tilde{\rho }}_N$, ${\tilde{\rho }}_i$指的是对逆序的$s$计算$t_i^{\prime }$时的鲁棒度.

1. 若$I=[0,\infty )$, 则$o_i=m({\tilde{\rho }}_i,h_i),h_{i+1}=o_i,i=0,1,...,N$
2. 若$I=[a,\infty )$, 则$o_i=m({\tilde{\rho }}_i,h_i),h_{i+1}=o_i,i=┌{\tau }^{-1}(a)┐,...,N$
3. 若$I=[0,b]$, 则$m=└{\tau }^{-1}(b)┘$ (落在$[0,b]$的采样点数), 状态向量$h_i=[h_{i_1},h_{i_2},...,h_{i_m}]$的长度为$m$, 其中, $h_0$中每个元素的取值为$\pm {\rho }_{\max }$, 输出为$o_i=m({\tilde{\rho }}_i,h_{i_1},h_{i_2},...,h_{i_m})$, 下一个状态变量取$h_i$的后$m-1$项, 附加此时的鲁棒度${\tilde{\rho }}_i$, $h_{i+1}=[h_{i_2},...,h_{i_m},{\tilde{\rho }}_i]$.
4. 若$I=[a,b]$, 相对于上面那种情况只改变输出$o_i=m({\tilde{\rho }}_i,h_{i_1},h_{i_2},...,h_{i_k})$, 其中$k=m-└{\tau }^{-1}(s)┘$, 即落在区间$[a,b]$内的采样点数量.

C. Soundness of $\mathcal{G}$

这里证明了计算图的稳健性, 即可以计算任何信号、任何公式的鲁棒度. 具体见论文这里就不记录了.

---

4 Backpropagation on STL Robustness Formulas

min/max 近似

那么反向传播需要得到梯度下降所需要的梯度, 而min和max函数是非平滑的. 为了使用通用的计算图工具, 需要把min和max函数做一个平滑近似. 近似函数如下:

$$\begin{gathered} \tilde{\max }(\mathbf{x};w)=\frac{{\sum }_i^n{x}_i\exp \left(w{x}_i\right)}{{\sum }_j^n\exp \left(w{x}_j\right)} \\ \tilde{\min }(\mathbf{x};w)=\frac{{\sum }_i^n{x}_i\exp \left(-w{x}_i\right)}{{\sum }_j^n\exp \left(-w{x}_j\right)} \end{gathered}$$

其中$w$是一个缩放参数, 当$w\to \infty$的时候, 上面计算出来的就是真实的$\max$,$\min$. $w=0$的时候上式就是一个取平均值的函数. 这样一来$w$是不是越大越好呢? 其实不是的, 如果$w$太大, 那么梯度就会变得太大, 也就失去了最初进行近似的初衷. 因此, 这里的trade-off要做好, $w$不能太大也不能太小.

当然还有其他的近似方法, 如logsumexp方法, 参照[9, 15].

上式的计算同样可以通过计算图, 用基本的计算单元进行构建. 之后$\rho (s,t,\varphi ;w)$就专门用来指代近似的鲁棒度.

反向传播算法

算法的终止条件分三种情况:

1. 达到最大迭代次数$N$
2. 鲁棒度小于预期鲁棒度${\rho }_{tol}$
3. 梯度小于预期梯度$g_{tol}$

每次循环中的$w_i$都会适当退火缩小, 梯度计算使用现成的ML工具.

正确性

由于使用了近似算法, 那么必然不能保证结果的绝对正确. 作者做了这样的狡辩:

1. 如果只是作为特征提取的一种方法的话, 后期的处理时能够容忍噪声的 (好家伙, 好一个甩锅)
2. 近似算法实在是太香了：1) 不管多复杂的公式都能算(毕竟神经网络计算单元多了去了); 2) 可以直接用PyTorch或者TensorFlow类似的工具, 可以并行计算, 甚至还可以批处理多条信号.

但是呢, 上面的方法还不能求解时间参数… 作者的介绍是, 反正$a,b$的取值都是离散域上的有限值, 大不了一个一个遍历… 还可以借鉴LSTM网络的方法, 这里没有继续展开.

---

5 Case Study: Systematic Scenario Generation for Autonomous Driving

使用的数据集是通过SUMO仿真的2500条变道轨迹以及1105条真人驾驶的变道数据.

学习的公式为$\varphi =\text{in\_start\_lane }\mathcal{U}ttc<\alpha$, 表示当车辆离开起始车道后, 相撞时间$ttc$所允许的最大值, $ttc$的定义很好理解, 就是距离差除以速度差.

$$\mathrm{ttc}\left(x_1,x_2,v_1,v_2\right)=-\frac{x_1-x_2}{v_1-v_2}$$

实验中计算了对每条轨迹的最佳$\alpha$, 对所有的结果进行了统计, 以频数的方式显示了结果. 两个数据集的运行结果如下图所示.

说实话这个实验数据的处理有点迷惑. 显然这里得到的STL公式不是为了描述系统的运行特征, 而是为了把$\alpha$作为一个高层特性用作后续的聚类或预测操作中. 总之这里得到频数不是很理解.

---

6 Future Work and Conclusions

未来工作

1. 拓展时序参数的学习
2. 通过逻辑公式继续探索可解释AI

---

心得与笔记

• 如果将本文的算法与神经网络的训练作比较的话, 可以将计算网络的GT输出看做0, 因为理想的鲁棒度为0, 在实际计算的鲁棒度与理想的0之间做梯度下降.
• 与现有的机器学习公式结合起来了, 感觉还挺先进的.
• 针对不同的公式结构, 需要从0构建计算图, 有没有通用算法呢? 比如说${\mathcal{O}}_{\mathcal{P}}$能不能自动计算出来呢?