GridMap: 一个用于强化学习 (reinforcement learning) 训练的二维连续坐标栅格地图

最新推荐文章于 2024-08-07 12:42:28 发布
最新推荐文章于 2024-08-07 12:42:28 发布
阅读量2.4k 收藏 12
点赞数 7
分类专栏： 人工智能 机器人 文章标签： 强化学习 reinforcement learning 2D地图
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huyaoyu/article/details/90055460
版权

大家好, 我刚刚做了一个简单的2D连续坐标栅格地图, GridMap. 我们使用GridMap进行我们的强化学习 ( reinforcement learning )算法验证.

在GridMap中, 用户可以创建一个起始block和一个终止block, 另加多个障碍block. 虽然称为栅格图, 但agent坐标是连续值. 用户可以定义不同block类型的reward/penalty值. 地图和环境可以分别保存为JSON文件供用户查看, 修改, 和批量化生成.

示例地图和训练完毕的policy的路径如下图所示.

地图示例

 

其中绿色为起始block, 蓝色为终止block, 红色为障碍block. 终止block可配置为一个圆形区域.

 

源码在我的github页面上. 请访问我的个人主页获取更详细信息.

 

 

 

 

风海流
关注
专栏目录
【强化学习】基于Qlearning强化学习的机器人栅格地图障碍物规避路线规划仿真,带GUI界面
平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~
01-17 459
①强化学习是做出最佳决策的科学。它可以帮助我们制定活的物种所表现出的奖励动机行为。比方说，你想让一个孩子坐下来学习考试。要做到这一点非常困难，但是如果每次完成一章/主题时都给他一块巧克力，他就会明白，如果他继续学习，他会得到更多的巧克力棒。所以他会有一些学习考试的动机。②孩子代表着Agent代理。奖励制度和考试代表了Environment环境。今天的题目是类似于强化学习的States状态。所以，孩子必须决定哪些话题更重要（即计算每种行为的价值）。
【MATLAB教程案例66】基于Q-learning强化学习的智能体栅格地图路线规划matlab仿真
FPGA/MATLAB学习教程/源码/项目合作开发
12-21 1056
强化学习（Reinforcement Learning, RL）是机器学习的方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化的问题。强化学习问题在信息论、博弈论、自动控制等领域有得到讨论，被用于解释有限理性条件下的平衡态、设计推荐系统和机器人交互系统。一些复杂的强化学习算法在一定程度上具备解决复杂问题的通用智能，可以在围棋和电子游戏中达到人类水平。
关于栅格GridMap结构设计的一点思考
最新发布
weixin_43152152的博客
08-07 1023
GridMap常用于lidar-slam建图，泊车freespace跟踪，ros里也有相应接口。最近occ也很火，用的也很多。一般的，讨论2D GridMap，分辨率为0.1m，长宽各10m，每个格子存储一个int值。通常的结构体设计可能会有如下其中，稠密图的比较简单，固定大小的栈内存（vector实现为堆内存），查找O(1)。稀疏图用map或unordered_map实现，底层是红黑树和哈希表，对应查找O(logn)和一般情况下O(1)。动态堆内存。
高程图 GridMap
weixin_34183910的博客
03-02 2552
Grid_map总结   Gridmap是由苏黎世理工自动驾驶实验室ASL发布的一款地图，Grid_map也是一种高程图，和Octomap等空间占有地图有着明显的区别。其底层的存储和运算使用Eigen。 1 地图的构造、存储和索引   Grid_map是由多层layer组成的一种复合地图，每一层地图可以表达不同的信息，不同的layer由各自的属性的cell组成，但是所有的cell对应的空间(2D)...
【路径规划】基于强化学习Q-Learing实现栅格地图路径规划matlab源码.zip
10-20
【路径规划】基于强化学习Q-Learing实现栅格地图路径规划matlab源码.zip
目标跟踪论文代码汇总
如果想成为中心，那么就到中心去吧。
07-21 527
近年来，分割任意模型（SAM）因其对图像分割性能而迅速获得了广泛的关注。由于其较强的图像分割能力和不同提示的高交互性，我们发现其在视频一致性分割效果较差。因此，在本报告中，我们提出了跟踪任何事物模型（TAM），它可以在视频中实现高性能的交互式跟踪和分割。详细地说，给定一个视频序列，只有很少的人类参与，也就是说，几次点击，人们可以跟踪任何他们感兴趣的东西，并在本体推理中得到令人满意的结果。没有额外的训练，这种交互式设计执行的视频对象跟踪和分割令人印象深刻。
【点云系列】综述： Deep Learning for 3D Point Clouds: A Survey
weixin_43882112的博客
12-03 4962
文章目录摘要简介：2 背景2.1 数据集2.2 衡量指标3 3D形状分类3.1基于多视角的方法3.2基于体素的方法3.3 基于点的方法3.3.1逐点MLP网络3.3.2基于卷积的网络3.3.3基于图的网络3.3.4基于数据索引的方法3.3.5其他方法小结4 3D物体检测与跟踪4.1 3D物体检测4.1.1 基于候选区域的方法4.1.2 single-shot方法4.2 3D对象跟踪4.3 3D场景流估计4.4 小结：5 3D点云分割5.1 3D 语义分割5.1.1 基于投影的方法5.1.2 基于离散的方法5
人工神经网络（一）概述
ESOO
10-18 8844
机器最初被发明是为了服务人类，做人不擅长的事情，比如规律性，重复复杂运算，从第一代计算机诞生到现在，这个功能一次次提升，现在计算机核心部件cpu，在普通家用方面，比如i5-6600四个核心的计算能力大概在20gflops.,也就是每秒200亿次浮点运算，这是人类不能羡慕的一个能力，但是，机器依然限制在机械性运算上，人类发明的这个 [“脑”] 一直希望成为真正的 [“类人脑”] ，在生物领域不断突破的前提下，我们破译人
MATLAB算法实战应用案例精讲-【自动驾驶】路径规划
qq_36130719的博客
08-03 1984
轨迹规划是在考虑临时或移动障碍物的前提下做出的规划，解决的是如何在避开障碍物的同时尽量沿着路径走的问题，和你看到地图上指示的路线后虽然是沿着路线走但是仍需要看路看车看人看红绿灯一样，重点在避障和遵守交规。在下面的图中，越黄的结点代表越高的启发式值（移动到目标的代价高），而越黑的结点代表越低的启发式值（移动到目标的代价低）。来选择最终车辆状态。再回答为什么有的论文没有路径规划，可能是因为是室内机器人，园区机器人等小型封闭空间内的运动规划，或者是其他缺少移动障碍物的场景，所以轨迹约等于路径，没有两者之分。
[论文笔记]Reinforcement learning helps slam: Learning to build maps
weixin_43146899的博客
12-20 649
Reinforcement learning helps slam: Learning to build maps 本文使用强化学习来探索未知环境以及重建地图。对比了三种不同的奖励函数，同时对比了三种不同的基于RL的路径规划器的性能。 INTRODUCTION 对于未知环境（没有任何现有地图）研究人员开始在这些机器人上开发更多的智能来探索环境，而不是遵循在已知环境中研究的预先定义的路径。以便导航未知环境并共同构建环境地图，当SLAM算法用于实时主动规划机器人路径，同时构建环境地图时，SLAM算法被命名为主动
2d-grid-map
02-18
视觉slam中， 往往都是点云数据。但常用的定位导航算法都是建立在障碍地图上的。本文章主要提供了一种将3D数据转换成2d地图的方法。
grid_map：用于移动机器人映射的通用网格图库
01-30
网格图 总览 这是带有接口的C ++库，用于管理具有多个数据层的二维网格图。 它是为移动机器人地图而设计的，用于存储诸如海拔，方差，颜色，摩擦系数，立足点质量，表面法线，可穿越性等数据。它用于设计用于崎terrain地形导航的“以包中。 特征： 多层：专为通用2.5维网格映射而开发，支持任意数量的层。 高效的地图重新定位：数据存储实现为二维循环缓冲区。 这允许在不复制数据的情况下无损地移动地图的位置（例如跟随机器人）。 基于特征：栅格地图数据存储为数据类型。 用户可以将可用的本征算法直接应用于地图数据，以进行通用而有效的数据处理。 便利功能：多种辅助方法可实现方便且存储安全的单元数据访问。 例如，实现了用于矩形，圆形，多边形区域和直线的迭代器功能。 ROS界面：网格图可以直接与ROS消息类型（例如PointCloud2，Occ​​upancyGrid，GridCells和我们的自定义GridMap消息）相互转换。 转换包提供与 ， 和数据类型的兼容性。 OpenCV界面：可以使用提供的工具将网格地图与图像类型进行无缝转换。 可视化：该grid_map_rviz_plug
基于强化学习的路径规划
01-13
运用强化学习算法在网格环境中进行了路径规划
Grid map 的应用
loyer_kong的博客
05-23 1496
路径可通行性判断，TEB算法的障碍物获取等功能的使用，都将基于Grid Map实现。
grid_map::GridMap数据结构,坐标系及索引概述
weixin_43259286的博客
05-27 1592
grid_map::GridMap数据结构 主要的数据如下: std::string frameId_; 坐标系名称; std::unordered_map<std::string, Matrix> data_;每一层的地图数据,存放在一个Eigen的二维矩阵中; Length length_; 将map的二维尺寸存放在一个Eigen二维向量中; double resolution_; 栅格化表示地图的分辨率; Position position_; 栅格地图几何中心在坐标系下的值; Size
强化学习路线图
Wang的博客
08-14 483
强化学习路线图
grid_map（一）：grid_map学习
热门推荐
biter0088的博客
01-06 1万+
0.前言 作为一个学感知的人，学了一年半，没有一个拿出手的感知建图程序，自认为子自己时非常惭愧的，于是像多挖掘写grid_map这个强大package的功能；这个系列自己一定要更新到自己学明白呀呀呀呀。 github代码：https://github.com/ANYbotics/grid_maphttps://github.com/ANYbotics/grid_map ......
grid_map教程（初见）
random_repick的专栏
09-21 5751
一、安装方法1：本人用的方法2sudo apt-get install ros-kinetic-grid-map方法2：需要先安装ROScd catkin_ws/src git clone https://github.com/ethz-asl/grid_map.git cd ../ catkin_make -DCMAKE_BUILD_TYPE=Release二、功能介绍1.octomap转化gri
grid_map（四）：simple demo学习
biter0088的博客
02-07 1922
0、前言 接着下面链接的2.1 simple demo。grid_map（二）：ubuntu16.04安装测试grid_map 1.6.0-1.6.2https://blog.csdn.net/BIT_HXZ/article/details/122783924?spm=1001.2014.3001.5502
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值