论文笔记：Human Mobility Prediction Challenge: Next LocationPrediction using Spatiotemporal BERT

已于 2024-08-17 09:51:10 修改
阅读量78 收藏 2
点赞数 3
分类专栏： 论文笔记 文章标签： 论文阅读 bert 人工智能
于 2024-08-17 09:48:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/141275743
版权

1 intro

  • 在流动轨迹预测任务的背景下，模型的设计显著影响训练和预测时间。因此，在创建模型时，必须同时考虑准确性和执行时间
    • 在更大的数据集中，与基于RNN或LSTM的模型相比，基于Transformer的模型可以减少执行时间
  • ——>论文开发了一个基于BERT的模型，该模型扩展了Transformer，两者都是自然语言处理模型，以减少训练时间并实现长期时间序列建模
    • 将这个模型称为“位置预测BERT(LP-BERT)”

2  数据集介绍

  • 在这个挑战中，提供了一个覆盖75天、涵盖10万个个体的主要都市区的流动性数据集。
  • 目标区域被细分为500米 × 500米的单元，构成一个200 × 200的网格。个体移动以30分钟间隔和500米的网格单元进行离散化

  • 任务1涉及使用80,000个个体的75天流动数据和20,000个目标个体的60天数据来预测剩余的15天流动轨迹
  • 任务2要求使用60天的日常活动流动数据、15天的紧急流动数据和22,500个个体的60天日常活动流动数据，为2,500个目标个体预测剩余的15天紧急流动轨迹

  • 数据集的列结构如下：

    • 用户ID
    • 日期（0至74）
    • 时间（1至48）
    • 停留单元的（x, y）坐标
  • 。值得注意的是，流动数据并非在所有时间段内连续捕获，存在未观测到的时间间隔

3 方法

3.1 代码

五个embedding求和，每一个都是nn.Embedding

UQI-LIUWJ
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
论文笔记：TrafficPredict: Trajectory Prediction for Heterogeneous Traffic-Agents
weixin_39952791的博客
09-27 2980
论文笔记：TrafficPredict: Trajectory Prediction for Heterogeneous Traffic-Agents 摘要 这是百度在AAAI2019发布的一篇文章。这篇文章提出了一种基于4D-graph的方法实现复杂场景下的轨迹预测，研究对象包含行人、机动车和自行车。 实现方法 本文提出了一个基于LSTM的算法，名为 TrafficPredict 。构建了一个4...
CVPR 2017 On human motion prediction using recurrent neural networks 论文解读
UniSerj的博客
07-25 2865
论文: On human motion prediction using recurrent neural networks 论文地址: https://arxiv.org/abs/1705.02445 通过对mocap数据的学习，基于recurrent neural network提出新的模型， 实现对于人物运动的后几帧预测，相比于LSTM-3LR（3 layers of LSTM），ERD...
论文阅读：social lstm：Human Trajectory Prediction in Crowded Spaces
hbhhhxs的专栏
05-15 7860
社会LSTM：拥挤空间中的人类轨迹预测 学习笔记参考：study note: https://www.zybuluo.com/ArrowLLL/note/981714 摘要：行人遵循不同的轨迹以避开障碍物并容纳行人。任何导航这样一个场景的自动驾驶车辆都应该能够预见到行人的未来位置并相应地调整其路径以避免碰撞。轨迹预测的这个问题可以被视为序列生成任务，我们有兴趣根据他们过去的位置预测人的未来轨迹...
Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
热门推荐
结构之法 算法之道
10-23 8万+
我在写上一篇博客《》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到CSDN上一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。（这是），再比如国内张俊林老师的这篇《》，然后你会发现几乎网上关于Transformer/BERT的文章无外乎是以下这几种情况。
论文阅读笔记：Link Prediction Based on Graph Neural Networks
m0_56010727的博客
08-14 4173
说明       本文为作者参加某链路预测比赛时读的文章笔记。水平有限，仅供参考。 Link Prediction Based on Graph Neural Networks Muhan Zhang Department of CSE Washington University in St. Louis muhan@wustl.edu Yixin Chen Department of CSE Washington University i
论文笔记BERT: Bidirectional Encoder Representations from Transformers
zephyr_wang的博客
09-29 2168
1 简介 本文根据2019年《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》翻译总结的。 BERT: Bidirectional Encoder Representations from Transformers. 应用预训练模型于下游任务有两种策略，分别是feature-based 和 fine-tuning。fine-tuning方法的主要限制是其单向的。BERT采用的fine-tunin
论文笔记：DeepDTA: deep drug–target binding affinity prediction Hakime
一个自律的人会想方设法阻止自己的懒惰
11-13 3747
DeepDAT 动机：药物靶标对相互作用的研究是新药物过程的重要过程，此前大多数研究集中于二分类，即药物-靶标是是相互作用， 但是蛋白质配体的结合亲和力是连续值，预测该值是一个难题。 之前也少数研究，是基于蛋白质-配体复合物的3D就或化合物的2D特征 方法：本实验采用蛋白质和化合物的原始一维序列进行基于CNN的建模进行绑定亲和力的预测 采用回归模型，能够预测相互作用强度的近似值× 蛋白质-配体评分：× 非机器学习方法：随机森林 --->失败，推测原因，...
BERT(二)--论文理解：BERT 模型结构详解
09-22 3507
1. 整体结构 2. 输入处理 3. 输出处理 3.1 nsp 3.2 predict
【论文笔记】Bert：Pre-training of Deep Bidirectional Transformers for Language Understanding
BodyCsoulN的博客
11-08 2402
原文作者：Jacob Devlin，Ming-Wei Chang，Kenton Lee，Kristina Toutanova 原文标题：Bert：Pre-training of Deep Bidirectional Transformers for Language Understanding 原文来源：谷歌AI团队 原文链接：https://arxiv.org/pdf/1810.04805.pdf 3.2 Bert：Pre-training of Deep Bidirectional Transforme
图像质量评价(IQA)论文笔记 : Automatic Prediction of Perceptual Image and Video Quality
兔角与禅
04-11 4513
图像质量评估 (IQA) 论文笔记 Automatic Prediction of Perceptual Image and Video Quality Automatic Prediction of Perceptual Image and Video Quality This paper discusses the principles and methods of modern al...
BERT： Pre-training of Deep Bidirectional Transformers翻译
09-02
预训练阶段，BERT采用两种主要任务：Masked Language Modeling（MLM）和Next Sentence Prediction（NSP）。在MLM中，BERT会随机遮蔽一部分输入序列中的词汇，然后尝试预测这些被遮蔽的词汇，这样可以学习到词汇间的...
BERT：Transformer架构的文本大师
07-27
BERT的预训练包括两个主要任务：Masked Language Model (MLM)和Next Sentence Prediction (NSP)。MLM通过随机遮蔽输入句子中的一些单词，然后预测这些单词，以此训练模型捕捉上下文信息的能力。NSP则是预测给定的两...
华为mindspore培训资料：BERT-slides.pptx
03-24
### 华为MindSpore培训资料：BERT-slides.pptx知识点详解 #### 一、NLP中的预训练模型及发展历程 在自然语言处理（NLP）领域，预训练模型的发展经历了几个重要的阶段，这些阶段标志着从简单的词嵌入到更复杂的深度...
BERT：自然语言处理中的革命性力量.zip
04-30
在预训练阶段，BERT通过两个任务进行学习：Masked Language Modeling（MLM）和Next Sentence Prediction（NSP）。MLM随机遮蔽一部分输入词汇，让模型预测被遮蔽的部分；NSP则判断两个句子是否为连续的，以学习上下文...
【论文笔记】Dual-Balancing for Multi-Task Learning
xhyu61的博客
08-12 1269
Милашка♥ ——《不时轻声地以俄语遮羞的邻座艾莉同学》艾莉莎·米哈伊罗夫纳·九条
论文阅读笔记：Mixed Pseudo Labels for Semi-Supervised Object Detection
HollowKnightz的博客
08-13 1048
论文阅读笔记：Mixed Pseudo Labels for Semi-Supervised Object Detection
神经串联式语音转换:对基于串联的单次语音转换方法的再思考 论文笔记
最新发布
weixin_46103454的博客
08-15 628
在any-to-any的转换中,由于内容和说话人音色的解耦不足,导致源说话人的音色部分仍保留在转换后的音频中，影响了音频质量和转换效果。
[论文笔记]ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
日积月累，天道酬勤
08-15 748
⭐ 主要介绍了DeepSpeed框架用到的零冗余优化器(ZeRO)技术，使得训练万亿级别参数的大模型成为了可能。通过ZeRO-DP优化模型状态，通过ZeRO-R优化剩余状态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值