Time-LSTM：使用RNN来处理用户行为时间间隔不均等的问题

最新推荐文章于 2024-07-29 08:53:35 发布
最新推荐文章于 2024-07-29 08:53:35 发布
阅读量5.2k 收藏 32
点赞数 3
分类专栏： 浅谈 文章标签： LSTM 时间间隔
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuan_ting/article/details/113521884
版权

What to Do Next: Modeling User Behaviors by Time-LSTM

这是IJCAI 2017的一篇文章，提出了Time-LSTM用于推荐系统，被多篇时间序列论文引用。其中利用行为时间间隔的方法值得我们思考。

1.背景问题

推荐系统一般是应用于电子商务等场景：给定用户的一系列历史交易记录，预测用户在未来某个时间点可能会购买的某些商品。

  • 用户集合
    在这里插入图片描述

  • 商品集合

在这里插入图片描述

  • 用户 u 的历史交易记录
    在这里插入图片描述

2.过去方法缺陷

近年来的研究发现RNN可以很好地捕捉用户行为序列的一些模式，但是这些RNN方法都没有考虑时间间隔（time interval），而且这些时间信息对揭示用户行为的关系有很大的作用。

以Phased LSTM为例：
  • 只对时间戳建模，针对单个行为
  • 用户的行为比较稀疏，该模型可能会忽略过去的信息
  • 没有明确区分和利用short term和long term兴趣。

因此，从解决上面的问题并利用好time interval入手，可以提高预测模型性能。

3.相关研究

  • LSTM和其变体
    简单地列一下原始LSTM的公式。
    Input：
    在这里插入图片描述
    在本文方法中，代表用户 u 购买的第 m 个商品：
    在这里插入图片描述
    Output：
    在这里插入图片描述
    过程：
    在这里插入图片描述

  • 推荐系统的RNN算法

  • 长短期兴趣：BPR, SMP, MRP

4.Time-LSTM

使用Time Gate来控制最后购买的商品对当前推荐的影响，并且还能保存time interval以反映长期的兴趣。共有3种版本。
在这里插入图片描述
基本公式是在上面的原始LSTM上改动，并且加入了时间间隔
在这里插入图片描述
即在这里插入图片描述

  • Time-LSTM 1
    在原始LSTM上 增加了T，并且改写了（3）（4）。
    在这里插入图片描述
    在这里插入图片描述

T的作用有2个：

  1. 可以对于输入信息进行过滤；
  2. 时间间隔首先被存储在了T​之中，然后该信息会被传递到Cm中，接下来就会被一次传递到Cm+1​,Cm+2​…之中，因此会帮助对用户的长期兴趣进行建模。
  • Time-LSTM 2
    在原始LSTM上增加了T1 and T2，修改了（3）-（5）。
    在这里插入图片描述在这里插入图片描述

之所以有W<=0的限制，是因为为了保证当最近一次的时间间隔比较小的时候T会输出比较大的值，比较大的时候T会输出比较小的值，也是为了把最近的时间间隔​信息进行编码。

  • Time-LSTM 3
    在Time-LSTM 2的基础上去掉了fm，改为耦合输入和遗忘门。
    在这里插入图片描述

5.实验

优化器： AdaGrad
数据集
  • LastFM，收听音乐类
    http://www.dtic.upf.edu/∼ocelma/MusicRecommendationDataset/lastfm-1K.html
    事件：<user id, song id, timestamp>
  • CiteULike，论文引用类
    http://www.citeulike.org/faq/data.adp
    事件：<user id, paper id, timestamp>

80%数据用于训练集，20%作为测试集。

本文代码：Github
Baseline

CoOccur+BP，Session-RNN，LSTM，LSTM+time，Phased LSTM

评价指标

Recall@10，MRR@10

实验结果

可以看出Time-LSTM比以往的RNN方法效果好。
在这里插入图片描述

5.工作贡献

通过LSTM结合时间间隔的方法，对用户短期行为和长期行为进行了建模，这在我们以太坊交易上也可以进行类似的行为研究。

6.下一步工作

论文中作者未来的研究方向包括：

  • 当一个用户没有历史交易记录时，如何推荐商品？（从好友或者浏览记录？）
  • 更多的行为模式，如点击、收藏、加入购物车等等？
xuan_ting
关注
  • 3
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
LSTM分析里，输入数据的time_steps和model的lstm_batch_size的概念
ouyangbiwu的博客
08-19 197
在LSTM模型中，**序列长度**或**时间步**（`time steps`）是指输入数据的一个样本中包含多少个时间点的数据。- 如果你设定 `time_steps = 90`，那么你会将数据重新格式化为 `(number_of_samples, 90, 5)` 的形状，其中 `number_of_samples` 是 `(1000 - 90 + 1)`。它与 `time_steps` 是不同的概念。1. **LSTM序列长度** 和 **训练/预测数据的时间步** 是用来定义每个样本中的时间点数量的。
下一步：通过Time-LSTM对用户行为进行建模
03-12
最近，推荐系统（RS）的递归神经网络（RNN）解决方案变得越来越流行。 洞察力在于，用户动作序列中存在一些固有的模式，并且事实证明，当对顺序数据进行建模时，RNN的表现非常出色。 在诸如语言建模之类的传统任务中，RNN解决方案通常仅考虑对象的顺序顺序，而没有间隔的概念。 但是，在RS中，用户动作之间的时间间隔对于捕获用户动作与传统RNN体系结构之间的关系非常重要，不利于对它们进行建模。 在本文中，我们提出了一个新的LSTM变体，即Time-LSTM，以对用户的顺序动作进行建模。 Time-LSTM为LSTM配备时间门，以对时间间隔进行建模。 这些时间门经过专门设计，因此与传统的RNN解决方案相比，Time-LSTM可以更好地捕捉用户的短期和长期利益，从而提高推荐性能。 对两个真实数据集的实验结果表明，使用Time-.LSTM推荐方法优于传统方法。
【Python时序预测系列】基于RNN实现单变量时间序列预测（案例+源码）
数据杂坛
07-29 365
基于RNN实现单变量时间序列预测（案例+源码）
LSTM各个时间序列样本长度不相等该怎么处理
热门推荐
weixin_43575157的博客
05-06 1万+
图片来源于Keras中文文档
非等间隔的时序预测算法
YYY7的博客
05-26 2754
该问题的由来主要是由于课题中要解决疾病发展预测的问题，对于一般的LSTM来说，其默认了序列元素之间的间隔是均匀的。然而在医疗领域所收集的**纵向数据中可能出现的时间不规则性**。
愉快的学习就从翻译开始吧_traces_A Python library for unevenly-spaced time series analysis.
dreamscape9999的博客
06-26 426
traces    A Python library for unevenly-spaced time series analysis.用于非均匀间隔的时序分析Python库Why?Taking measurements at irregular intervals is common, but most tools are primarily designed for evenly-spaced...
T-LSTM模型
小张快冲
06-26 4469
T-LSTM（Time-Aware LSTM）模型考虑了时间序列之间的时间间隔，他的主要思想是将记忆状态分为短期记忆和长期记忆，根据输入之间的时间间隔调整短期记忆的影响，时间间隔越长，短期记忆的影响越小，接着将调整后的短期记忆与长期记忆重组为新的记忆状态。 参考论文： 《Patient Subtyping via Time-Aware LSTM Networks》 介绍了T-LSTM模型以及其在分析医疗记录中的应用。 以下是基于论文对模型的理解： 标准LSTM网络的局限 不能处理不规则的时间间隔 标.
Stock-Prediction-RNN-LSTM：使用RNN和LTSM解决消失梯度问题进行的库存预测。 使用的数据集是从巴基斯坦证券交易所获得的
02-04
在本文中，我们将深入探讨如何使用递归神经网络（RNN）和长短期记忆网络（LSTM）来解决股票价格预测的问题。RNNs是一种在序列数据处理中表现优秀的深度学习模型，尤其适用于时间序列分析，如股票市场预测。然而，...
Multi-LSTM:用于高频时间序列的多维LSTM
05-09
- "lstm"：LSTM（长短期记忆网络）是一种递归神经网络（RNN）的变体，特别适合处理序列数据，因为它能记住长期依赖性，防止梯度消失问题。 - "high-frequency-trading"：高频交易是指使用先进的计算机技术和算法，在...
pytorch-sentiment-analysis-classification:情感分析分类的PyTorch教程（RNN，LSTM，Bi-LSTM，LSTM + Attention，CNN）
05-24
情感分析分类 先决条件 安装依赖项 pip install -r requirements.txt 安装Spacy英语数据 python -m spacy download en 框架 火炬 数据集 Cornell MR（电影评论）数据集...RNN LSTM 双LSTM LSTM +注意 有线电视新闻网
arima的matlab代码-ARIMA-LSTM-hybrid-corrcoef-predict:应用ARIMA-LSTM混合模型来预测两种
06-02
arima的matlab代码使用 ARIMA-LSTM 混合模型进行相关预测 我们应用了 ARIMA-LSTM 混合模型来预测两种资产的未来价格相关系数 我的论文草稿上传到 . 我愿意对我的工作发表任何评论。 请给我发电子邮件。 我真的很感激...
论文研究-基于模型的不等间隔时间序列聚类算法研究.pdf
09-12
ROUSTIDA算法具有较好的数据填补能力，但依然会出现一些不完备信息。利用了可扩充辨识所反映的对象间的属性差异信息，对遗失属性进行填充，从而使改进后的ROUSTIDA算法的填充能力得到了很大的改善，同时还具备了初步排除噪声数据的能力，在性能上也有了很大的提高，实验表明改进的算法具有很好的实用价值。
Time-RNNs:时间LSTM的Pytorch实现，如“下一步做什么”中所示
04-02
时间神经网络 Time-LSTM的Pytorch实现，如“下一步：通过Time-LSTM为用户行为建模”所示，Time-GRU的实现，如“系统跟踪重构的新递归网络方法”中所示。 时间门的添加也可以推广到其他递归神经网络。 在性能方面，所有具有时间定性（时间RNN）的RNN都比具有时间定性的RNN（标准RNN）获得更好的结果。 以下是时间LSTM 1，时间LSTM 2，时间GRU，GRU和LSTM在预测在汽车上运行的Blackberry QNX系统的输出轨迹时的训练精度与时期的示例。
LSTM中timesteps的理解
07-04
这个文档有一个比较直观的关于时间步的理解，对于初学RNN网络的人来说，其中有些概念比较难懂，希望这个能帮助大家。
LSTM：攻克RNN长期依赖问题的深度学习突破
最新发布
08-16
循环神经网络（Recurrent Neural Network, RNN）在处理序列数据时具有天然的优势，但它们在捕捉长期依赖关系方面存在困难。长期依赖问题是指RNN难以学习数据中相隔较远的依赖关系，这会导致网络性能受限。长短期记忆...
时间序列(time serie)分析系列之LSTM（多步）预测5
weixin_41512727的博客
12-26 1万+
文章目录LSTM原理数据集代码结果参考文献 LSTM原理 LSTM的原理，这里不做多余描述，具体可以参照这几个博客，介绍的很好。 blog1:Understanding LSTM Networks blog2:Long Short-Term Memory Units (LSTMs) blog3:LSTM详解 反向传播公式推导 blog4:LSTM详解 数据集 数据为单变量数据，上图显示的是，如...
【Time Series】【专题系列】二、LSTM时序预测代码实战
小博客大智慧
01-30 922
Time Series之LSTM代码实战
高频数据处理技巧：数据库非等间隔的时间序列处理
DolphinDB智臾科技
12-11 1321
高频时间序列的处理中，经常会用到滑动，偏移，聚合，转置，关联等操作。譬如说我想对一个某指标列用过去一个小时的数据的均值来做平滑处理，又或者想找到每一个时刻，该指标一个小时前的相应的指标值。如果序列中每个指标的间隔是相等的而且中间没有缺失数据，譬如说0.5s，3s，那么我们可以把时间窗口转化成固定记录条数的窗口，基本上常用的数据分析软件语言都可以完成滑动窗口函数功能。如果条件不能满足，就变成了比较复杂的非等间隔的时间序列处理问题。 假设有一组这样的数据： time val ------ --- 12
探索时间序列之美：Time-LSTM 在推荐系统中的应用
gitblog_00095的博客
06-12 440
探索时间序列之美：Time-LSTM 在推荐系统中的应用 项目地址:https://gitcode.com/DarryO/time_lstm 在这个日益数字化的时代，个性化推荐系统已成为我们日常生活的一部分，它们在音乐、电影、图书等领域的推荐中扮演着重要角色。今天，我们要向您推荐一个开源项目：基于时间长短门LSTM（Time-LSTM）的推荐系统实现。这个项目源自论文“下一次做什么？通过时间-LS...
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值