论文笔记：Efficient and Effective Similar Subtrajectory Search with Deep Reinforcement Learning （子轨迹匹配）

最新推荐文章于 2024-09-16 17:40:25 发布

UQI-LIUWJ

最新推荐文章于 2024-09-16 17:40:25 发布

阅读量164

点赞数

分类专栏：论文笔记文章标签：论文阅读

本文链接：https://blog.csdn.net/qq_40206371/article/details/132508906

版权

285 篇文章 71 订阅

订阅专栏

本文探讨了在轨迹数据分析中，如何通过t2vec和DTW计算轨迹相似度，然后引入强化学习（RLS）方法优化子轨迹搜索。RLS利用强化学习策略决定何时分割轨迹，以找到与查询轨迹最相似的部分。实验展示了RLSwithskip的改进效果。

摘要由CSDN通过智能技术生成

1 intro

给定一条数据轨迹 $T=<p_1,p_2,\ldots,p_{n-1},p_n>$ 和一条查询轨迹 $T_q=<q_1,q_2,\ldots,q_m>$
- 相似子轨迹搜索（SimSub）问题是查找一个T的子轨迹T[i, j]，其中i和j 属于[1, n]，这段轨迹与查询轨迹最为相似
- 即 $\theta(T[i,j],T_q)$ 最大化，θ为相似性度量

t2vec
- 通过使用一个循环神经网络RNN得到一条轨迹的embedding
- 通过计算两条轨迹的embedding距离得到两轨迹的相似度
- 由于查询轨迹Tq在搜索过程中是不变的，所以只需要生成一次embedding
- —>在三个方法中，t2vec是时间复杂度最低的相似度检测方法
DTW
- DTW 笔记： Dynamic Time Warping 动态时间规整（&DTW的python实现）【DDTW，WDTW】_UQI-LIUWJ的博客-CSDN博客
Frechet
- 算法笔记：Frechet距离度量_UQI-LIUWJ的博客-CSDN博客

模型遍历轨迹的每一个点，由强化学习的agent来决策该点是否分割

State	一个三元组 $(\theta_{best},\theta_{pre},\theta_{suf})$ $\theta_{best}$ :目前为止所有的分割得到的子轨迹与查询轨迹的最佳相似度 $\theta_{pre}$ :当前遍历的节点，与前一个分割节点（如果没有，就是第一个点）所构成的子轨迹与查询轨迹的相似度 $\theta_{suf}$ :当前遍历的节点，与该轨迹最末端节点构成的子轨迹与查询轨迹的相似度
Action	一共有两个action，分割或者不分割，即0或1的action集合
Transition	由于在分割轨迹的过程中，当执行一个action后，状态转移概率是未知的，所以此问题没有transition的具体形式
Reward	执行action之后与之前的最佳相似度的差值如果分割了： $\theta_{pre}$ - $\theta_{best}$ 就是reward 如果没有分割：从前一个分割节点到末端节点构成的子轨迹与查询轨迹的相似度- $\theta_{best}$ 就是reward

（1）从数据库中取出数据轨迹T和查询轨迹Tq
（2）Agent从Environment中获取当前节点的state
（3）Main Network根据Q函数最大化的结果来输出action（分割或者不分割）

（4）Agent做出该action，并与Environment交互

（5）Environment接收到Action后，更新状态S‘

（6）Environment接收到Action后，将相应的reward提供给Agent

（7）agent将(s,a,r,s')送入 replay buffer

（8~10）main network 采样一个batch的experience replay 进行参数更新

为了增加分割决策的效益，在RLS的基础上增加了k个action：skip j 个节点（j=1~k）
- 跳过一些节点不再进行分割决策
- 即不会使用网络对其是否分割的决策做计算
- 跳过后其效果和不分割结果上是完全一样的
比如跳过j个节点，那么分析完是否分割 $p_i$ 后，需要直接跳到 $p_{i+j+1}$ ，判断他是否需要分割