基于Transformer的路径规划 第三篇 Attention Is All You Need

已于 2024-10-30 17:14:09 修改
阅读量559 收藏 9
点赞数 3
分类专栏： ai 文章标签： transformer 深度学习 人工智能
于 2024-10-30 14:38:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42885381/article/details/143364686
版权

上一篇：基于Transformer的路径规划 - 第二篇 合成数据

接上一篇，这几天工作很忙，模型训练好后一直没时间测试，今天抽空全面测试了一下，使用7层Transformer Decoder组成的GPT模型，生成策略采用贪心搜索，随机生成了10000条测试样本，错了94个，成功率只有99.06%左右，这个成功率还是太低了，比我预想的差很多，毕竟场景比较简单。如果简单的场景达不到99.9%以上的成功率，那复杂的场景就不用想了。部分测试结果如下：

图中红色为起始点，蓝色为目标点，绿色为模型生成的路径。第三排第一组不是最优路径。由于合成样本中障碍物的位置过于随机，看起来比较假，可能会导致模型在真实场景中表现不佳。

生成路径失败的原因几乎都是与障碍物发生了碰撞，例如：

“发生碰撞”确实很不应该，因为碰撞与否是最容易学会的规则，我会在接下来的实验中对这个问题进行改进。如何让模型知道宁可绕远路，也绝对绝对不要“发生碰撞”？这个问题其实很有代表性的，不一定是因为模型学习能力不足导致的，可能是因为模型没有意识到“发生碰撞”是不可接受的。

下面说一下模型的设计：

1、词汇表

<PAD>：用于将输入补到固定的长度
<EOS>：表示生成的路径已经结束
<FREE>: 表示无障碍区域
<OBSTACLE>: 表示有障碍区域
<START>：表示起始点
<GOAL>：表示目标点
<PATH>：表示路径区域，仅用于测试
x0~x15：表示生成路径点的x坐标
y0~y15：表示生成路径点的y坐标

2、样本形式

一条训练样本包含16×16+8+128+1=393个token，由以下几部分组成：环境、起始点/目标点坐标、路径坐标。示例如下：

<FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <FREE> 
<FREE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> 
<OBSTACLE> <START> <OBSTACLE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> 
<FREE> <FREE> <OBSTACLE> <FREE> <FREE> <FREE> <OBSTACLE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> 
<OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> 
<OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <FREE> 
<OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> <FREE> <OBSTACLE> <OBSTACLE> <FREE> 
<FREE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> 
<FREE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> 
<OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <GOAL> 
<FREE> <FREE> <OBSTACLE> <FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <OBSTACLE> <OBSTACLE> 
<FREE> <FREE> <OBSTACLE> <FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> 
<OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> 
<FREE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> 
<OBSTACLE> <OBSTACLE> <FREE> <OBSTACLE> <OBSTACLE> <FREE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> 
<OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <FREE> <FREE> <FREE> <FREE> <OBSTACLE> <OBSTACLE> 
x1 y2 x15 y9 <PAD> <PAD> <PAD> <PAD> x1 y3 x1 y4 x1 y5 x1 y6 
x1 y7 x2 y7 x3 y7 x3 y8 x4 y8 x5 y8 x6 y8 x6 y9 
x7 y9 x8 y9 x9 y9 x10 y9 x11 y9 x12 y9 x13 y9 x14 y9 
<EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> 
<EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> 
<EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> 
<EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> 
<EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> 
<EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS> <EOS>

生成路径的最大长度为128。

3、模型训练

训练过程中，输入前n-1个token，预测后n-1个token。在计算损失时，需要屏蔽掉路径点坐标之外的token。由于模型比较小，使用单GPU训练即可，显存不得低于6G。

这几天在研究过程中，我了解到传统的路径规划算法，例如A*，也是能够获得最优路径的，而且速度也不慢。那基于Transformer的路径规划算法有什么优势呢？这个问题等我以后对路径规划问题有更深的理解之后再来回答吧。由于在研究基于Transformer的路径规划算法之前，我对现有的路径规划算法几乎一无所知，因此文章中难免有错误之处，欢迎读者在评论区指出。

下一篇：基于Transformer的路径规划 - 第四篇 GPT模型优化

原文链接 请勿转载

Transformer~自动驾驶
whaosoft143ai的博客
10-30 296
对于更复杂的情况，其中输入包含静态和动态数据(例如，道路几何形状，车道连接，交通灯等)，由于自关注和昂贵的位置前馈网络对输入序列长度的二次依赖，标准Transformer对广泛的多维序列进行建模是具有挑战性的。最后，我们强调了基于Transformer的模型中的挑战、趋势和当前见解，并在实际应用程序中长期Transformer部署的背景下讨论了它们的硬件部署和加速问题。在之前的调查中，已经对不同自动驾驶任务的深度学习方法进行了回顾和讨论，包括一般性讨论[3]，[10]，[11]，[12]，[13]；
初识Transformer之Attention is all you need
qq_43173239的博客
02-04 1623
文章目录前言一、初识ransformer从宏观视角看自注意力机制从微观视角看自注意力机制什么是查询向量、键向量和值向量向量？通过矩阵运算实现自注意力机制使用位置编码表示序列的顺序残差模块解码组件最终的线性变换和Softmax层训练部分总结二、Attention is all you need 翻译1 简介2 背景3 模型架构3.1 编码器和解码器堆栈3.2 Attention3.2.1 缩放的点积attention3.2.2 Multi-Head Attention3.2.3 Applications o.
基于Transformer的车辆多模态轨迹预测方法
scott198512的博客
12-14 3056
Transformer 轨迹预测
基于Transformer的路径规划 第一篇 探索
silicon
10-23 1449
也就是给定很多很多个输入，需要通过算法或人工标注的方式获取每个输入对应的最优路径（在最优路径难以获取的情况下，次优路径也行），这里的最优路径有一条或多条，次优路径有很多条。为了简便，将输入序列的长度设为256，序列中每个元素的值只能是以下几个值中的一个：“0”、“1”、“+”、“x”，对应的编号为：0、1、2、3。在自动驾驶场景，通过收集司机驾驶真车时的数据，相当于是通过人工标注的方式获取到了足够多的训练样本，然而通过这种方式获取训练样本的成本相当高。在高级阶段，除了“无碰撞”外，还要求路径“尽可能短”
DetectorNet: Transformer-enhanced Spatial Temporal Graph Neural Network for Traffic Prediction
小蚂蚁与大象
07-23 363
现有工作虽然考虑了时空关联建模的意义，但所学到的仍然是静态的路网结构，无法反映道路的动态变化，最终丢失了很多有价值的潜在信息。但是在监测网络中很少考虑这一点。另外，在2个公开数据集上的实验结果和4个消融实验的对比结果表明，DetectorNet的性能优于11个高级基准。高覆盖度的检测器在路径规划和避免交通拥堵方面为道路使用者带来直接和深远的好处，但利用这些数据面临独特的挑战，孤立地考虑道路之间的距离和空间位置，从交通数据中学习到固定的关系是不够的，更不能反映道路关系的变化。...
推荐一款强大的决策生成工具：Decision Transformer
gitblog_00097的博客
03-24 975
推荐一款强大的决策生成工具：Decision Transformer 项目地址:https://gitcode.com/gh_mirrors/de/decision-transformer 在人工智能领域，自动化决策系统正在逐步成为企业优化运营、提升效率的关键工具。今天，我们要介绍的是一个开源项目——，它是一个基于Transformer架构的模型，用于学习和生成复杂的决策序列。这款项目旨在帮助开发...
多机器人路径规划(Multi-Agent Path Finding, MAPF)
qq_43353179的博客
02-24 1万+
多智能体路径规划(multi-agent path planning)的 ros 实现
论文笔记《Attention Is All You Need》
丶Karl的博客
02-10 2209
Attention Is All You Need：Transformer开山之作。
Attention Is All You Need--论文笔记
dezwb的博客
06-03 1171
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
李沐精读论文：transformer 《Attention Is All You Need》 by Google
iwill323的博客
12-17 2945
李沐读论文：transformer 《Attention Is All You Need》 by Google
《Attention Is All You Need》论文学习
T940842933的博客
07-22 549
记录了学习论文《Attention is all you need》的主要过程，重点对transformer模型架构进行解读
Transformer入门-轨迹预测实例解析
热门推荐
Oxalate的博客
04-05 1万+
比较适合做Transformer入门练手的例子，有助于理解模型结构。
探索未来路径：Transformer Networks在轨迹预测中的革命性应用
gitblog_00050的博客
06-08 1390
探索未来路径：Transformer Networks在轨迹预测中的革命性应用 项目地址:https://gitcode.com/gh_mirrors/tra/Trajectory-Transformer 在深度学习领域，预测个体的运动轨迹是一项挑战性的任务，特别是在复杂多变的人流或交通环境中。今日，我们向您推荐一个前沿的开源项目——《Transformer Networks for Trajec...
transformer模型学习路线
qq_42740834的博客
05-26 6756
Transformer学习路线 完全不懂transformer，最近小白来入门一下，下面就是本菜鸟学习路线。Transformer和CNN是两个分支！！因此要分开学习 Transformer是一个Seq2seq模型，而Seq2seq模型用到了self-attention机制，而self-attention机制又在Encoder、Decode中。 因此学习将从self-Attention->Seq2seq->Encoder-Decode->Transformer 1. 问题背景： 目前我们输
Transfuser（CVPR2021）基于全局注意力的端到端自动驾驶路径规划：主干网络源码解析
AI训练师中的点滴
04-27 2085
transfuser
Transformer新秀：多块嵌入+多路径=MPViT
机器学习社区
01-27 1041
论文链接：https://arxiv.org/abs/2112.11010 推荐文章 Python 程序员需要掌握的机器学习“四大名著”发布啦 浙大博士导师深度整理：Tensorflow 和 Pytorch 的笔记（包含经典项目实战） 值得收藏，这份机器学习算法资料着实太香 比 PyTorch 的官方文档还香啊，吃透PyTorch中文版来了 赶快收藏，PyTorch 常用代码段PDF合辑版来了 01、Abstract 本文对多尺度块嵌入与多路径结构进行探索，构建了MPViT(Multi-path Vi.
ECCV 2020 | STAR:基于Transformer的行人轨迹预测模型（一）
周周周周周大帅的博客
05-25 8196
这是一篇ECCV 2020 行人轨迹预测的文章，在这里对论文进行浅浅的翻译。当然，由于水平的局限，有些地方只能意译。 论文链接：Spatio-Temporal Graph Transformer Networks for Pedestrian Trajectory Prediction Abstract 理解人群动态运动对真实世界的一些应用，例如监控系统、自动驾驶来说是非常重要的。这是具有挑战性的，因为它（理解人群动态运动）需要对具有社会意识的人群的空间交互和复杂的时间依赖性进行建模。我们认为，注.
计算机视觉中的transformer模型创新思路总结
CV技术指南（微信公众号）
12-03 2042
前言 本文回顾了ViT的结构，总结了计算机视觉中的transformer的主要改进思路：改进分块，改进位置编码，改进Encoder，增加Decoder。每个思路下都介绍了相关的论文，介绍了这些论文的提出出发点和改进思路。 本文的目的不在于介绍transformer现在有哪些模型，而在于学习借鉴别人发现问题并改进的思路，从而在自己方向上提出合适且合理的改进。 本文来自公众号CV技术指南的论文分享系列,技术总结系列 关注公众号CV技术指南 ，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。.
ECCV 2020 | STAR:基于Transformer的行人轨迹预测模型（二）
周周周周周大帅的博客
06-08 4023
在（一）中简单的对全文进行了翻译，实际上很多句子并不能靠翻译来理解，所以只能将自己的想法融入在译文里面。今天我们记录一下代码与论文。以前我认为将代码逐行解析就是“懂了”，实际上能用自然语言将代码要做的事情讲出来，这才是真的明白论文与代码在表达什么。所以接下来我不会涉及到具体代码，我将以自然语言的方式叙述STAR算法在做一件怎样的事情，希望看博客的朋友从算法的角度思考问题。1. 数据是怎样被处理的？STAR模型架构以ETH、UCY两个数据集作为输入，其中ETH数据集包含两个子集，UCY数据集包含三个子集。我们
transformer attention is all you need
最新发布
03-12
### 关于Transformer模型中的'Attention is All You Need' 在探讨Transformer架构时，核心理念在于注意力机制的重要性被提升到了前所未有的高度[^1]。传统序列处理依赖循环神经网络(RNN)，而Transformer摒弃了RNN结构，完全依靠自注意力(self-attention)机制实现输入到输出的映射。 #### 自注意力机制 自注意力允许模型关注同一序列的不同位置，从而捕捉更丰富的上下文关系。具体来说，在每一层中，对于给定的位置i，计算其与其他所有位置j之间的关联度得分，并据此调整权重分布。这种设计使得远距离依赖能够得到更好的建模[^2]。 #### 编码器-解码器框架下的多头注意力 为了增强表达能力，Transformer采用了多头注意力(multi-head attention)方案。每个头部负责学习不同子空间内的特征表示，最终将多个头部的结果拼接起来作为该层的输出。这样的设置不仅提高了并行化程度，还赋予了模型更强的信息提取能力[^3]。 ```python import torch.nn as nn class MultiHeadedAttention(nn.Module): def __init__(self, h, d_model, dropout=0.1): super(MultiHeadedAttention, self).__init__() assert d_model % h == 0 # We assume d_v always equals d_k self.d_k = d_model // h self.h = h self.linears = clones(nn.Linear(d_model, d_model), 4) self.attn = None self.dropout = nn.Dropout(p=dropout) def forward(self, query, key, value, mask=None): ... ``` #### 前馈神经网络与残差连接 除了独特的注意力模块外，标准的Transformer还包括基于位置的全连接前馈网络(position-wise feed-forward networks)[^5]。这些组件通常会配合跳跃连接(skip connections)一起工作，形成残差网络(residual network)，有助于缓解深层网络训练过程中的梯度消失问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值