非等间隔的时序预测算法

YYY7

已于 2023-05-26 16:45:30 修改

阅读量2k

点赞数 15

分类专栏：论文笔记文章标签：算法人工智能深度学习

于 2023-05-26 16:27:21 首次发布

本文链接：https://blog.csdn.net/qq_41762023/article/details/130889494

版权

论文笔记专栏收录该内容

11 篇文章 0 订阅

订阅专栏

该问题的由来主要是由于课题中要解决疾病发展预测的问题，对于一般的LSTM来说，其默认了序列元素之间的间隔是均匀的。然而在医疗领域所收集的纵向数据中可能出现的时间不规则性。如下图：

在这里插入图片描述

在这种情况下，个人探索后认为可以有以下两种解决方法：1.通过迭代来进行不同间隔节点的预测；2.直接将时间间隔作为特征送入模型进行分析。这里主要收集部分和第二种方法相关的论文工作。

Patient Subtyping via Time-Aware LSTM Networks

原文：Patient Subtyping via Time-Aware LSTM Networks (acm.org)
**来源：**KDD 2017
代码：illidanlab/T-LSTM: Time-Aware LSTM (github.com)

简介

在研究各种疾病时，患者之间的异质性通常会导致不同的病程模式，并可能需要不同类型的治疗干预。因此，研究患者亚型（将患者分组为具有疾病特征的亚型）非常重要。由于信息异质性和时间动态性，从复杂的患者数据中进行亚型划分具有挑战性。长短期记忆（Long-Short Term Memory，LSTM）已经在许多领域成功应用于处理序列数据，并最近应用于分析纵向患者记录。LSTM单元被设计用于处理序列中连续元素之间具有恒定时间间隔的数据。鉴于患者记录中连续元素之间的时间间隔可以从几天到几个月不等，传统LSTM的设计可能导致性能亚优。在本文中，我们提出了一种新颖的LSTM单元，称为时态感知LSTM（Time-Aware LSTM，T-LSTM），用于处理纵向患者记录中的不规则时间间隔。我们学习细胞记忆的子空间分解，通过经过的时间来调整记忆内容，以进行时间衰减。我们提出了一个患者亚型划分模型，利用提出的T-LSTM在自编码器中学习患者序列记录的强大单一表示，然后用于将患者聚类成临床亚型。对合成和真实世界数据集的实验证明，所提出的T-LSTM架构可以捕捉带有时间不规则性的序列中的潜在结构。

方法

在这里插入图片描述

提出的时态感知长短期记忆（T-LSTM）单元的示意图及其在分析医疗记录中的应用。绿色方框表示网络，黄色圆圈表示逐点操作符。T-LSTM接收两个输入，输入记录和当前时间步的经过时间。在医疗领域，时间t-1、t和t+1之间的记录时间间隔可以从几天到几年不等。T-LSTM将先前的记忆分解为长期和短期组成部分，并利用经过的时间（∆t）来折扣短期影响。

参考： T-LSTM模型_Sophia要一直努力的博客-CSDN博客

ATTAIN: Attention-based Time-Aware LSTM Networks for Disease Progression Modeling

原文：ATTAIN: Attention-based Time-Aware LSTM Networks for Disease Progression Modeling (nsf.gov)
**来源：**IJCAI 2019

简介

使用电子健康记录（EHR）对患者疾病进展进行建模对于协助临床决策至关重要。长短期记忆（LSTM）是处理顺序数据（例如EHR）的有效模型，但是将其应用于EHR时遇到两个主要限制：无法解释预测结果，并且忽略连续事件之间不规则的时间间隔。为了解决这些局限性，我们提出了一种基于注意力的时间感知LSTM网络（ATTAIN），以通过对固有时间不规则性进行建模来提高LSTM的可解释性并确定当前诊断的关键先前事件。我们通过使用真实的EHR对ATTAIN在模拟极具挑战性的疾病（败血症性休克）的进展过程中进行了验证。我们的结果表明，所提出的框架优于诸如RETAIN和T-LSTM的最新模型。同样，产生的解释性时间感知注意力权重为败血性休克的进展行为提供了一些启示。

方法

电子健康记录（EHR）中的测量通常是在不规则的时间间隔内获取的。例如，当患者处于严重状况时，事件很可能比患者相对“健康”时记录得更频繁。因此，这种不同的时间间隔可以揭示患者在某些即将发生的情况下的健康状况，因此考虑事件之间的时间间隔对于捕捉疾病的潜在进展模式非常重要。关于处理时间不规则性的先前工作已经有过一些研究[Baytas等人，2017年；Pham等人，2016年；Choi等人，2016a；Che等人，2017年]，例如，时态感知长短期记忆（T-LSTM）[Baytas等人，2017年]将时间间隔转化为权重，并用这些权重来调整从先前时刻传递的记忆。

在这里插入图片描述

在本研究中，我们提出了ATTAIN，一种基于注意力机制和模拟事件之间时间不规则性的时态感知疾病进展模型。具体而言，当累积先前信息时，我们调整LSTM的记忆。我们不仅仅添加来自一个先前事件的记忆，而是回顾所有/几个先前事件的记忆，并通过注意力机制生成的权重以及这些事件与当前事件之间的时间间隔对其进行折扣。总体权重表示每个先前事件对于当前事件识别进展情况的重要性。我们探索了三种注意力机制：全局（g）、局部（l）和灵活（f），用于生成注意力权重。另一方面，通过衰减函数将时间间隔转化为衰减权重，使得过时的事件比最近的事件更有可能对预测当前事件的结果发挥较不重要的作用。我们相信所得到的注意力权重以及衰减权重不仅会导致一个有效的预测模型，而且还会得到一个可解释且临床合理的模型。