T-LSTM(Time-Aware LSTM)模型考虑了时间序列之间的时间间隔,他的主要思想是将记忆状态分为短期记忆和长期记忆,根据输入之间的时间间隔调整短期记忆的影响,时间间隔越长,短期记忆的影响越小,接着将调整后的短期记忆与长期记忆重组为新的记忆状态。
参考论文:
《Patient Subtyping via Time-Aware LSTM Networks》
介绍了T-LSTM模型以及其在分析医疗记录中的应用。
以下是基于论文对模型的理解:
标准LSTM网络的局限
- 不能处理不规则的时间间隔
标准LSTM单元由遗忘门、输入门、输出门和存储单元组成,但该体系结构隐含了一个假设,即序列元素之间的运行时间是均匀分布的。因此,在LSTM体系结构中没有集成纵向数据中可能出现的时间不规则性。
例如,在一个短暂的患者记录中事件的分布是高度不均匀的,在医疗保健领域,时间为t-1、t和t+1的记录之间的时间间隔可以从天到年不等。在图1中使用一个病人的医疗记录片段示例来说明这一点,记录之间的时间差异从一个月到几个月不等。这种不同的时间间隔可能预示着某些即将发生的疾病。例如,频繁入院可能表明有严重的健康问题,而这些就诊记录提供了研究病情进展的来源。另一方面,如果两个连续记录之间有几个月的时间,之前的记忆就不应在预测时发挥太大的作用。
考虑到连续两次医院就诊之间所经过的时间是医疗保健