二分类最优阈值确定_【文献阅读】基于时空阈值鲁棒降噪方法的交通事件检测...

最新推荐文章于 2023-08-24 14:41:29 发布

weixin_39769675

最新推荐文章于 2023-08-24 14:41:29 发布

阅读量594

点赞数

文章标签：二分类最优阈值确定动态阈值

Chakraborty P, Hegde C, Sharma A. Data-driven parallelizable traffic incident detection using spatio-temporally denoised robust thresholds[J]. Transportation Research Part C: Emerging Technologies, 2019, 105(AUG.):81-99.

本文提出了一个数据驱动的交通事件自动检测方法，该方法可以利用大规模历史交通数据以及交通网络的固有拓扑结构来提取可靠的交通模式。可以将这种交通模式与实时交通数据进行比较，以检测道路网络中的交通事件。本文的交通事件检测方法包括两个基本的流量模式估算步骤。首先，使用来自各个传感器的历史交通信息来估算鲁棒的单变量速度阈值。可以使用MapReduce框架并行执行此步骤，从而使在大型网络上实施该方法变得可行。研究表明，与传统的阈值确定相比，这种鲁棒的阈值可以显著提高事件检测性能。其次，利用道路网络拓扑关系来构建阈值热力图，并应用图像降噪技术以获得时空降噪的阈值热力图。为此，本文使用了两种图像降噪技术，即双边滤波和全变分方法。本文研究表明，与噪声阈值或使用全变分降噪得到的阈值相比，使用双边滤波器降噪可以显著改善整个交通事件检测方法的性能。

1.研究背景

高速公路上的交通拥堵给国家经济社会的发展带来了严重威胁，高速公路拥堵分为常发性拥堵和非常发性拥堵，常发性拥堵通常表现为每日早晚高峰出现的拥堵模式，非常发性拥堵主要是由交通事故、车辆抛锚等意外事件引起的，此类事件是降低行程时间可靠性的主要原因，并常导致通勤者感到沮丧。交通事件自动检测技术被认为是减少非常发性拥堵的关键技术，因此国内外在研发精确的自动检测技术方法方面已进行了大量研究。

各种数据挖掘算法和统计模型已用于开发AID算法。一种流行的检测交通事件的方法是使用过去观察到的累积交通数据来学习交通模式，并在实时观察到的交通数据与所学习的模式有显着差异时检测事故。随着交通数据收集和存储技术的发展，安装在道路或浮动车上的固定传感器可以在庞大的交通网络上提供有关实时交通状态的有用信息。这些数据源在与相应的历史数据集进行比较和匹配后，可以用于交通事件是否发生的指示。

然而，在这种AID算法开发中也面临挑战。要获得一致的交通模式动态统计模型非常困难。重复出现的拥堵事件可以在同一时间和地点与非重复发生的事件配对，从而使得很难将真实的交通事件与错误的(由常发性拥堵引起)区分开。

本文的主要目的是为高速公路中的交通事件自动检测提出并实施一个大规模可并行化的数据驱动技术框架，利用从每个传感器获得的交通信息以及交通网络的固有拓扑来获得可靠的交通模式估计，通过将实时交通数据与相应的交通模式进行比较并检测异常。

2.技术方法

路网建模：将快速路网划分成连续路段，与路段相对应的节点通过加权边连接，本文研究中各路段的长度大致相等，在0.4-0.6英里之间，因此设各节点间边的权重相等为1。这些权重值将用于多元时空阈值降噪的分析中。每个节点指定天的时间序列可表示为：

式中ti是第i个时间段，d代表一周中的某天，s代表某个节点。

对于整个路网，将时间序列建模为三阶张量：

D代表不同的天，n表示路网中总的节点数，N表示时间序列的长度。研究的目标则转化为识别该张量中的局部异常模式。但是交通数据巨大的规模给模式识别带来了挑战，针对此问题本文对张量第二维进行预处理，对每个单变量时间序列选取不重叠时间窗口，对窗口内的数据进行统计计算以确定每个窗口的阈值，这些阈值将作为AID方法的重要参数。

单变量速度阈值计算：

(1)SND算法

本文用于单变量速度阈值计算以检测事件的基本方法是SND算法，该算法将时间序列数据的每个不重叠窗口的单变量统计建模为具有位置参数μ和比例参数ζ的Laplace分布。本文将时间窗口设为15分钟，速度阈值τ由位置和比例参数确定，具体定义为：

式中p代表时间窗口，常数c的最优值根据验证集的结果得到。归约后的速度阈值可与真实速度值比较以检测异常。

SND算法使用平均速度值作为位置参数μ，并使用对应的标准偏差σ作为比例参数ζ来表示正常的交通模式。因此，位置和比例参数根据一周中对应的每天各路段15分钟的交通流数据计算。根据Balke等人的研究，以15分钟为时间段的速度阈值由前八周相应路段对应天对应时刻的交通流数据来确定。其中，SND算法的平均速度值、标准差和速度阈值计算公式如下：

(2)MAD与IQD算法

SND算法具有易于计算和校正的优点，然而算法的位置和比例参数都对异常值高度敏感，因此本文引入其他统计量来替代位置和比例参数。使用MAD和IQD作为比例参数，用速度中位数代替均值作为位置参数。

MAD算法的形式化表述为：

IQD算法的形式化表述为：

其中Ms、MAD和IQD值计算公式如下：

虽然MAD和IQD算法对抗异常值的性能更好，但是这两种算法依赖的统计量易受到Swamping问题的影响使非异常值被分类为异常值，从而导致错误警示。Swamping问题是指如果超过50％的数据值非常相似(即接近Swamping点)，则IQD和MAD都等于零。因此，任何与中位数不同的值都将被报告为异常值，这将大大增加错误预报的数量。

但是，在交通事件检测问题中，我们可以利用以下事实：容量减少的交通事件会严重影响交通状况并导致交通状况拥挤。仅依靠宏观交通数据(而不是摄像机探测车辆的轨迹)的AID算法只能检测到影响交通流量并导致容量显著降低的事件。所以只有当拥挤的条件存在并且观测到的速度低于预期的阈值时，才可以触发事件警报。美国联邦公路管理局交通指南指出，当路段中的平均速度低于45 mph时，高速公路会发生拥挤状况。所以修改后的阈值速度值可以写为：

图1：采样速度阈值热力图

多变量时空阈值降噪：

若仅仅依靠单变量速度阈值计算的方法来检测事件，则缺少了对道路网络拓扑和时间窗口之间一致性的考虑，所计算得到的阈值可能是高噪声的。针对这一问题，本文使用时空信息知识来提高估计阈值的质量。利用道路拓扑结构和时间窗口一致性进行降噪处理，以获得描述正常交通模式的速度阈值的改进估计值。

首先计算速度阈值并将道路段根据其对应的里程以及时间上连续的时间窗口进行排列，据此生成速度阈值热力图。由于时间和空间上相关的时间窗可能表现出相似的阈值，因此，本文研究制定的图像处理目标是通过对原始热图进行降噪来获得一个连贯平滑的阈值热图。在这项研究中，我们使用了双边滤波和全变分这两种特殊的图像降噪技术获得了可用于改善事件检测性能的降噪阈值图。

选择这两种降噪技术是因为这两种方法会在降噪过程中保留边缘。鉴于阈值热图中的尖锐边缘通常指示常发性拥堵的区域，保留这些边缘将有助于区分常发性拥堵与非常发性拥堵事件(例如交通事故)。由于高速公路路段的长度大致相等，因此本文在计算时假设路段每个节点的权重等于1。

交通事件自动检测总流程：

根据上述分析，本文提出的交通事件自动检测方法的流程是首先根据历史数据使用SND、MAD和IQD算法计算速度阈值，之后依据时空关系生成速度阈值热力图，并使用双边滤波和全差分两种方法对图像进行降噪处理。最后将阈值与实时速度匹配，在连续三个时间间隔内实时速度小于阈值时，将触发交通事件警报。