【阅读随笔】神经网络与参数学习 Neural Network for Weighted Signal Temporal Logic

前言：今天整理一下最近看的一篇文章，作为TLNN那篇文章的补充。

主要参考文献：
Yan, R., & Julius, A. (2021). Neural network for weighted signal temporal logic. arXiv preprint arXiv:2104.05435.

概述

---

流水账笔记

1 Introduction

首先由时间序列的分类问题引出现有机器学习分类方法的不足——可解释性差，并提出时序逻辑的解决方案，

引出时序逻辑的分支——STL，并举例了几种量化满足程度的方法及其缺点。其中传统的基于min/max算子的鲁棒方法非凸、非平滑，且其满足程度仅取决于一个信号点，而没有利用到整体。为了解决这个问题，后来提出了wSTL，但是其信号上的权重定义存在bug：(1) 权重为0的信号点仍能影响总的鲁棒度 (2) 并不是权重越高的信号点对总鲁棒度的影响越大。

接下来话锋一转开始提神经网络，提出神经网络中的激活函数和鲁棒度计算有相通之处，最后引出文本工作。

1. 提出了一种新的量化语义
2. 提出了wSTL-NN框架
3. 提出两种稀疏化方法（用于减少训练参数，节约内存）

---

2 Preliminaries

• 介绍了什么是时间序列（略）
• 介绍了STL的语法和语义（略）

3 Weighted Signal Temporal Logic

• 定义了wSTL的语法和语义，同这一篇文章（略）

---

4 Neural Network for wSTL

4.1 Activation Functions for Logical and Temporal Operators

4.2 Learning of wSTL Formulas with wSTL-NN

---

5 Sparsification of wSTL-NN

5.1 Sparsification with Weight Thresholding

5.2 Sparsification with Gate Variables

Gate Variables

Sparsification Realization

---

6 Case Study

数据集如下：

数据结构如下：

无稀疏化

对比了wSTL-NN与其他机器学习方法的分类效果，采用了sensitivity, specificity, positive predictive value, negative predictive value来进行度量。

wSTL-NN学出了公式中的尺度部分$\pi$以及每个信号点的权重 w