1 intro
- 在流动轨迹预测任务的背景下,模型的设计显著影响训练和预测时间。因此,在创建模型时,必须同时考虑准确性和执行时间
- 在更大的数据集中,与基于RNN或LSTM的模型相比,基于Transformer的模型可以减少执行时间
- ——>论文开发了一个基于BERT的模型,该模型扩展了Transformer,两者都是自然语言处理模型,以减少训练时间并实现长期时间序列建模
- 将这个模型称为“位置预测BERT(LP-BERT)”
2 数据集介绍
- 在这个挑战中,提供了一个覆盖75天、涵盖10万个个体的主要都市区的流动性数据集。
- 目标区域被细分为500米 × 500米的单元,构成一个200 × 200的网格。个体移动以30分钟间隔和500米的网格单元进行离散化
- 任务1涉及使用80,000个个体的75天流动数据和20,000个目标个体的60天数据来预测剩余的15天流动轨迹
- 任务2要求使用60天的日常活动流动数据、15天的紧急流动数据和22,500个个体的60天日常活动流动数据,为2,500个目标个体预测剩余的15天紧急流动轨迹
-
数据集的列结构如下:
- 用户ID
- 日期(0至74)
- 时间(1至48)
- 停留单元的(x, y)坐标
- 。值得注意的是,流动数据并非在所有时间段内连续捕获,存在未观测到的时间间隔
3 方法
3.1 代码
五个embedding求和,每一个都是nn.Embedding