Visual Navigation
文章平均质量分 79
Hoyyyaard
来自珠江中下游985本硕 研究方向为大模型与Embodied AI
展开
-
(论文总结)Beyond the Nav-Graph: Vision-and-Language Navigation in ContinuousEnv
文章目录1 IntroductionVLN研究的假设Vision-and-Language Navigation in Continuous Environments.2 Related WorkLanguage-guided Visual Navigation Tasks3 VLN in Continuous Environments (VLN-CE)Continuous Matterport3D Environments in Habitat.Observations and Actions3.1 Tr原创 2022-02-20 21:30:49 · 852 阅读 · 0 评论 -
(Habitat)基本功能代码实现
Episode以一个导航任务为例 一个episode包含场景信息 agent起始位置和角度 目标信息等信息完成一个episode的循环步骤1 env = habitat.Env(config=habitat.get_config("configs/tasks/pointnav.yaml")) #初始化环境2 observations = env.reset() #获取环境的观察对象并重置环境3 #create an agent4 while not env.episode_ov原创 2022-02-19 18:36:09 · 1174 阅读 · 2 评论 -
(Visual Navigation)路径规划算法(三)RRT RRT* Informed RRT*及前三种算法总结
文章目录RRT实现过程算法缺点RRT*实现过程Informed RRT*RRT* 和 Informed RRT*的结果比较具体实现路径规划总结RRT算法全称“快速扩展随机树算法”通过随机地图取点的方法进行路径规划RRT实现过程① 在地图中随机选择一个点 Xrand② 当前点设置为 Xnear③ 沿着 Xnear和Xrand连线方向 行进步长StepSize 且没有遇到障碍④ 第二次采样⑤ 行进步长长度时遇到障碍 则重新采样⑥ 直到新采样点距离 Xgoal 小于步长且连线无原创 2022-02-05 11:30:37 · 3281 阅读 · 0 评论 -
(Visual Navigation)路径规划算法(二)Dijkstra改进 A*算法
上一文介绍了Dijkstra的基本思路和详细过程接下来介绍一下Dijkstra的改进算法------A*算法文章目录栅格地图回顾Dijkstra算法A*算法A*算法引入h(n)为启发式函数伪代码对比以欧氏距离(即起始点和目标点之间的直线距离)为启发式函数的结果A*算法应用的保证最优化要求当没有障碍物的时候可以更看出A*算法的优势栅格地图栅格地图取值原理下面是构建一个栅格地图的基本过程膨胀障碍物的意义是构建像上图的非自由区域即直线移动的代价g(n)为1 斜边为根号2.原创 2022-02-03 11:27:00 · 1294 阅读 · 0 评论 -
(Visual Navigation)路径规划算法(一)Dijkstra算法
上文总结了基于深度相机的见图过程(Visual Navigation)深度图像转点云(Visual Navigation)点云转地图信息得到了机器人能够理解的地图信息 那下一步就是导航了 下面来介绍一下路径规划的算法文章目录轨迹规划Dijkstra算法综述具体实现过程伪代码机器人如何记录最短路径轨迹规划Dijkstra算法综述具体实现过程一寻找一条v1-v6的最短路径其中open list为未收录节点 closed list为已收录节点二此时可以到达的节点为④.原创 2022-02-02 11:41:57 · 893 阅读 · 0 评论 -
(Visual Navigation)点云转地图信息
上一次总结了深度图转点云的详细过程 这一次总结一下点云怎么转化为机器人能理解的地图信息文章目录Bin_Point效果基本思路实现流程代码实现函数讲解障碍判断torch.scatter基本思路代码实现函数详解Bin_Point效果此时Z轴代表高度 Y代表深度 X代表左右使用的是Facebook的开源仿真平台Habitatbaseline参考/depth_utils.py基本思路按照高度信息将点云分为三类将每一类都放到一个通道获取到一个点则相应三通道矩阵的位置++所以得到一个.原创 2022-01-30 10:38:19 · 1866 阅读 · 0 评论 -
(Visual Navigation)深度图像转点云
深度图像即图像中包含深度信息(也就是距离信息)的单通道图像,每个像素反应的是图中的一点相对于相机的位置:左右位置 高度位置和深度位置而视觉导航中比较常用的就是深度相机,通过深度相机的深度图像和rgb图像的转化得到地图信息,而深度图像转点云就是很重要的一个过程文章目录坐标系介绍坐标系的转换和平移图像坐标系转相机坐标系代码实现相机坐标系转世界坐标系坐标系介绍一般分为三种坐标系 :世界坐标系:描述全局地图信息的坐标系 ,一般以全局地图左上方为坐标原点相机坐标系:顾名思义就是以相机的中心.原创 2022-01-29 23:05:06 · 3438 阅读 · 1 评论