FlashST 短期交通预测领域的插件式创新

FlashST: A Simple and Universal Prompt-Tuning Framework for Traffic Prediction:一篇在短期交通预测领域的插件式创新,主要解决不同数据集和任务下的分布漂移问题。
方法:采用二阶段训练的方法,一阶段在PEMS03478数据集上进行预训练,第二阶段冻结解码器(使用现有模型GWN)、微调三块提示,以达到迁移学习的效果;多数据集不同节点数量的训练采用在解码器中为每个数据集加入一个分解的自适应图的方法,这样子做确实投机取巧实现了不同数据集之间的自适应,阅读源码后推测维度问题解决方法是load_state_dict时不同数据集(不同节点数)的多个自适应图都放在一个nn.ParameterList里面、而不同数量的dict key params.2会被strict=False过滤掉。
实验设计:结合了STID和静态图的常规方法,对数据做升维嵌入、拼接时空特征,然后进行门控和图卷积,把结果称为提示直接与原始输入相加,输入到GWN中,GWN的自适应图改为多个自适应图、针对不同数据集使用不同自适应图。
亮点:提出时空上下文spatio-temporal contextual information和时空情境学习spatio-temporal in-context learning的概念,将提示作为附属组件,结合自监督损失将不同节点的数据作为负样本进行对比学习。
疑问:蒸馏并没有体现在正文中,不清楚context distillation mechanism是指提取还是指蒸馏操作,存在歧义;把带残差的GCN叫做Spatial Dependency Encoder、把MLP叫做Temporal Dependency Encoder,骗谁呢;不同节点的数据作为负样本是不是太草率了;没有解释清楚将四个数据集一起预训练时实际为每个iter随机采样一个数据集的数据而非同时训练。
未考虑的:不同数据采集频率下的跨域对齐问题。
实验:对比基线多、数据集丰富,采用基线对比实验、效率分析、消融实验、超参数实验、案例可视化。
创新性:2.5/5
写作水平:4/5
代码质量:3/5
实验证明:4/5

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值