- 博客(43)
- 收藏
- 关注
RSS订阅原创 具身智能controller---RT-1（Robotics Transformer）（上---方法介绍）
迁移学习在计算机视觉领域已有很多研究，但在端到端的机器人学习控制的领域研究还比较少，本论文提出通用的机器人模型一个关键点在于开放式的（open-ended）任务不可知的(task-agnostic)训练, 有着高容量(high-capacity)的网络结构，可以吸收所有不同种类的机器人数据。论文里的核心问题：可否利用大量的机器人任务数据训练一个大规模多任务骨干模型?这个模型是否会从别的领域观测获得好处, 表现出对新任务、环境和对象的zero-shot能力?
2023-07-26 17:20:30
1875
原创 具身智能controller---RT-1（Robotics Transformer）（中---实验介绍）
为了进一步验证泛化能力，我们在厨房环境中进行实验，首先根据真实厨房环境与训练环境的差异，将其划分成L1-L3三个等级，L1表示对新的案台上面布局和不同光照条件的通用性，L2表示额外有未见过的诱导物体，L3表示额外有较大的新未见任务设置，未见物体或者未见位置，然后对比不同方法在这三种场景下的成功率。机器人训练数据的采集是在一个环境下的，示教共13个机器人采集，然后会放在另外两个不同的环境中进行验证。：在21个未见的指令任务上进行了测试，这里的未见是指组合任务未见，但拆分的动作和目标对象是见过的；
2023-07-26 17:08:12
1469
原创 激光SLAM论文简单导读--LOAM、VLOAM、LeGO-LOAM、LIO-SAM、LVI-SAM、LIMO、LIC-FUSION、TVL-SLAM、R2LIVE、R3LIVE
激光SLAM论文导读--LOAM、LeGO-LOAM、LIO-SAM、LIC-给FUSION开篇巨作LOAM （CMU张辑， RSS 2014）
2022-05-31 11:14:45
3583
4
原创 深入理解计算机系统第五章------优化程序性能
课程网站编译器本身会对代码进行一定层次的优化， 但某些情况下考虑到潜在的风险，编译器并不会执行优化，此时就需要程序员自己根据实际情况调整代码，提高代码的运行效率。优化层次有algorithm, data representations, procedures, and loops。代码优化需要掌握的知识点：How programs are compiled and executed 程序如何编译和运行？How modern processors + memory systems operate 现代
2021-10-09 19:10:25
787
原创 SOFT-SLAM系列论文解读
SOFT-SLAM2在KITTI数据集上霸榜了，作为视觉方案的定位方法，取得了超过激光-视觉融合的方法，凸显了该算法的优越性，所以赶紧紧跟潮流，研读相关论文。SOFT-SLAM: Computationally efficient stereo visual simultaneous localization and mapping for autonomous unmanned aerial vehicles...
2021-05-25 11:54:04
2415
1
原创 状态估计第三讲：非线性高斯系统的状态估计问题
本章讲解非线性非高斯状态下的状态估计问题。重点讲解非线性非高斯的状态转移、离散时间的递归估计和离散时间的批量估计三部分。非线性系统的贝叶斯推断举例：从双目视差推断深度距离。Matlab蒙特卡洛仿真程序...
2021-05-19 09:20:58
1720
原创 OpenVSLAM代码解读--视觉跟踪Tracking_Module
Tracking_Module()是该SLAM的前端，主要任务是得到新获取图像的视觉特征与局部地图中的路标点之间的匹配关系，进一步通过优化法PnP计算得到当前时刻相机位姿，并利用一定的规则选择关键帧。流程如下：分层提取ORB特征点，计算描述子：此步骤将灰度图像(如果输入为彩色图像，将转换成灰度图像)信息转换成包含ORB特征点和描述子的图像帧(frame)数据，首先通过下采样得到图像的金字塔，其中原图为金字塔0层，然后在各层级金字塔上提取ORB特征点并计算对应描述子。(猜测:越低层级金字塔的特征点，距离相
2021-04-17 21:39:01
678
原创 手眼标定Hand-eye-calibration环境配置踩坑及解决方案
ethz-asl/hand_eye_calibration github网站这两天一直在ubuntu16.04上配置手眼标定的环境，现将过程中的踩坑及解决办法记录如下：1，下载问题： 必须翻墙才行， 即使源码可以下载，但编译的时候，会要求自动下载opencv、glog_catkin等功能包， 内网是没法下载的；2，完全按照官网的方式进行，编译过程中可能会遇到代码中的bug问题，比如catkin_build error: ‘loadFromYaml’ is not a member of ‘asl
2021-03-19 22:48:15
1653
原创 Python脚本： 将文件形式的图像、IMU数据转换成rosbag包
convert image and imu dataset to a rosbag#!/usr/bin/env python"""Transform image and imu files to a ros bag fileusage convert_files_to_bag.py [directory]file folder: [color] [depth] IMU.txt TIMESTAMP.txtexample: FMDatasetAuthor: Ming Ouyang""
2021-02-28 23:21:37
2813
6
原创 对极约束的几何认识
对极约束推导过程如上图，两个相机中心分别为 O1O_1O1、O2O_2O2，点P在两幅图像中的投影点分别为p1p_1p1、p2p_2p2，连线 O1O_1O1p1p_1p1 和连线O2O_2O2p2p_2p2在三维空间中会相交于点 P，点O1O_1O1、O2O_2O2 、P 三个点可以确定一个平面,称为极平面(Epipolar plane)。O1O_1O1O2O_2O2 连线与像平面 I1I_1I1、I2I_2I2 的交点分为 e1e_1e1、e2e_2e2, 称之为极点
2021-01-24 15:53:23
356
原创 VIO 初始化系列3------ORB-SLAM3 与VINS-Mono初始化比较
参考博客：VIO 初始化系列1------ORB_SLAM3 IMU 初始化代码解读VIO 初始化系列2------VINS-Mono初始化
2021-01-13 15:21:54
2670
原创 VIO 初始化系列2---VINS-Mono初始化
参考论文：VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State EstimatorRobust initialization of monocular visual-inertial estimation on aerial robots参考博客：VINS-FUSION源码框架及C++知识点总结参考课程：从0开始手写VIO在参考博客里有介绍过初始化部分的大致流程，趁着现在要做VIO方面的项目， 再来仔细梳理该初始化过程。深
2021-01-12 15:12:31
457
原创 论文导读： Adaptive Robust Kernels for Non-Linear Least Squares Problems
参考论文： Adaptive Robust Kernels for Non-Linear Least Squares Problems本论文针对slam中的后端非线性优化设计了一个自适应的核函数。1， 常用核函数核函数可用来处理outliar， 在优化中给，残差较大的可视为有更大的概率是outliar， 优化过程中会被赋予更小的权重。 常用的核函数有pseudo-Huber/L1-L2, Cauchy, Geman-McClure, Welsh. 常用的核函数：这几个核函数 可以写成一个通用的
2021-01-01 13:48:09
430
原创 基于RGBD的平面提取方法总结
Real-Time Plane Segmentation using RGB-D Cameras:改论文是基于depth图像做的平面检测， 根据depth得到的三维点， 根据三维点所在邻域平面法向量以及平面距原点的距离，对其进行聚类， 具体流程如下：利用depth点上下左右的点，计算出该点邻域平面的法向量；将所有的点根据上述求出来的三维法向量， 分配到三维的voxel grid里去， 这也就是第一步分类（Initial segmentation in normal space）；上述分好的类里再根
2020-12-12 15:33:33
2826
3
原创 VINS marginalization源码分析
理论知识：SLAM中的marginalization 和 Schur complement深入理解SLAM中的MarginalizationVINS6边缘化DSO 中的Windowed Optimization边缘化留下的先验信息有哪些：//VINS边缘化有两个策略，如果在sliding window中第二近的frame是关键帧则丢弃sliding window中最老的帧、否则丢弃该帧。无论丢弃哪一帧，都需要边缘化。 if (marginalization_flag == MARGIN_
2020-08-06 20:58:09
623
原创 三维点云处理技术四：三维点云数据处理基础
三维点云处理技术三：三维点云数据处理基础PCL介绍PCL点云数据结构PCL特性PCL模板库PCL处理一般流程点云滤波方法常见点云滤波方法体素滤波器：统计滤波器点云组织形式与最近邻搜索八叉树KD Tree点云分割、拟合、聚类方法分割拟合语义分割来源：睿慕课《三维点云处理技术和深度学习在三维点云处理中的应用》PCL介绍点云(Point Cloud)是离散点的集合，不仅包括三维点的位置信息，有时也包含点的材质反射信息和RGB信息，广泛应用于机器人抓取、识别、定位与运动规划中。PLC库是专门的处理点云运算的库
2020-05-19 17:37:51
4717
1
原创 Apollo进阶课程第七章：感知
感知概貌：问题范围感知概貌：多个维度看问题感知传感器分类点云感知：视觉感知：CNN检测：场景分割；可行驶区域检测；车道线检测；红绿灯检测。红绿灯检测：后处理：感知与机器学习：感知未来：...
2020-05-16 21:57:48
355
原创 Apollo进阶课程第六章：Appolo ROS
参考资料：ROS官网ETHZ ROS课程ROS的基本知识：ROS TF: 描述坐标系旋转的功能节点Ros service:调试技巧：rqt：可视化rqt=rosrun rqt_gui rqt_guirosrun rqt_image_view rqt_image_view 可视化图像rosrun rqt_multiplot rqt_multiplot可视化二维数值rosrun rqt_graph rqt_graph 可视化ROS节点之间的计算图rosrun rqt_consol
2020-05-16 15:18:11
342
原创 算法导论第十二章：二叉查找树
**定义：**查找树是一种数据结构，它支持多种动态集合操作，如查找、插入、删除等，既可以用作字典，也可以用作优先队列。二叉树的遍历：二叉树的遍历分为前序遍历、中序遍历和后序遍历，可以采用递归的方法遍历，遍历一棵含n个节点的二叉树时间复杂度为O(n)。中序遍历：先遍历左子树，然后遍历根节点，最后遍历右子树。先序遍历：先遍历根节点，然后左子树，最后右子树。后序遍历：先遍历左子树，然后右子树，最后根节点。二叉树查找:先从根节点开始，查找值大于节点值，则往右子树查找，小于则往左子树查找，直到找到值与查
2020-05-13 16:36:01
235
原创 三维点云处理技术三：三维空间变换
三维点云处理技术三：三维空间变换刚体运动变换旋转矩阵推导与性质坐标系旋转欧拉角旋转矩阵的轴角四元数刚体运动变换总结：空间几何变换来源：睿慕课《三维点云处理技术和深度学习在三维点云处理中的应用》刚体运动变换表示旋转变换的参数形式：旋转矩阵，轴角，欧拉角和四元数。旋转矩阵推导与性质两个坐标系a和b,坐标系b各个坐标轴b1、b2、b3b_1、b_2、b_3b1、b2、b3在坐标系a中的表示为：b1=R11a1+R21a2+R31a3b_1=R_{11}a_1+R_{21}a_2+R_{31}a
2020-05-12 23:29:50
2306
2
原创 Apollo进阶课程第四章：高精地图
高精地图特点：1，表述的完整性：把能影响人类驾驶行为的特性全都表示出来，比如交通标志、车道线等;2，实时性;3，高精是指描述内容全面。高精地图功能：辅助定位、感知、预测和规划，弥补系统性缺陷，使得机器在人类构造的交通环境下运行。高精地图格式规范-OpenDrRIVE业界高精地图产品：诺基亚HERE地图—基于16线激光雷达。MobileEye—基于camera，众包系统。Google-waymo：TomTomAppolo2.5采集方案激光（64线+16线）+相机+RTK+IMU
2020-05-10 17:55:18
444
原创 Apollo进阶课程第三章：Appolo定位技术
定位技术： 确定无人车在地图中的位置。由于自身感知不够强大，需要精准定位来辅助感知，其定位指标如下：定位方法：GPS：5~10米伪距差分： 米级载波相位差分： <5cm 硬件成本较高，易受电磁干扰，多径效应干扰激光定位：点云匹配视觉定位：特征点匹配不实用，使用车道线、交通标志牌定位惯性导航：成本与精度，无人车用的十万级别的IMU，短时间精度非常高，频率非常高，有误差累积。定位方案： EKF多传感器融合坐标系：百度无人车定位技术：GPS：授时、建图、定位激光点云定
2020-05-08 20:19:19
457
原创 Apollo进阶课程第二章：Appolo硬件开源平台
Appolo研发流程：硬件系统：传感器：摄像头功能：车辆、行人检测，车道线、交通标志牌、红绿灯检测；激光雷达：地图定位和测绘，感知；毫米波雷达：交通车辆的检测，速度快，准确，不受天气影响。远距离77G，近距离24G。线控化： 电子控制系统取代传统的机械控制方式。集成传感器单元：system on chip： 将软件集成到硬件上，高效地执行特定算法。...
2020-05-08 20:07:56
257
原创 Apollo进阶课程第一章：自动驾驶行业概览
自动驾驶发展历程著名的无人驾驶公司：18家知名无人驾驶汽车品牌盘点 炫酷的未来科技自动驾驶模块高精度图：给无人车进行预判；通过缩小搜索区域来减少无人车的计算量；生成intensive map，使得感知更准确。定位模块：GPS+RTK+IMU+几何定位(相对地图路标特征的定位)感知系统：相机+激光雷达+雷达轨迹规划模块避障模块控制系统云端安全性方面iso26262：比...
2020-05-02 17:28:51
398
原创 状态估计第二讲:线性高斯系统的状态估计问题
本讲的核心问题就是线性系统卡尔曼滤波的推导。离散时间的批量估计线性高斯模型运动方程：xk=Ak−1xk−1+vk+wk,k=1,2……Kx_k=A_{k-1}x_{k-1}+v_k+w_k,k=1,2……Kxk=Ak−1xk−1+vk+wk,k=1,2……K观测方程：yk=Ckxk+nk,k=0,1,2……Ky_k=C_kx_k+n_k,k=0,1,2……Kyk=Ckxk+...
2020-05-02 11:26:42
1751
2
原创 Apollo公开课七：控制
控制： 使用控制来运行轨迹。对于车辆而言，基本的控制就是转向、加速和制动。控制器通过输入来控制车辆通过指定路标点，要求准确、鲁棒、可行和平滑。三种控制方法： PID,LQR,MPC。控制流程： 规划给出目标轨迹，定位给出车辆状态，控制使得运行轨迹接近目标轨迹。PID： 无人小车之PID控制器算法 无人驾驶系列(一) PID控制详解形式简单。 P使得误差趋小；D使得运动更稳定，...
2020-05-01 15:41:07
805
原创 Apollo公开课五：预测
将预测问题简化为选择问题——Apollo车道预测详解预测： 预测环境中移动物体的行为，以确保无人车做出最佳的决策，通过生成一条路径来预测移动物体的行为。根据其他物体的状态以及自己的状态来预测它们的路径。预测要求实时、准确，且能从其他情况中学习新的预测行为。预测分为基于物理模型的和数据驱动的。Apollo基于车道序列的预测 预测障碍物状态：位置，朝向，速度，加速度，车道段内物体的位置以...
2020-05-01 10:47:49
548
原创 Apollo公开课四：感知
感知： 主要利用深度学习来检测周围的环境，包括分类、检测、跟踪和分割等任务。Apollo感知方案： 对于三维物体检测，Apollo在高精地图上使用ROI（感兴趣区域）来重点关注相关对象，将ROI滤波器应用于点云和图像数据以缩小搜索范围，加速感知，通过检测网络馈送已过滤的点云，输出用于围绕构建对象的三维边界框，最后使用检测关联算法来跨时间识别单个物体。 对于交通信号灯的检测，先在高精度地...
2020-04-30 21:55:31
490
原创 三维点云处理技术一：基础知识
课程来源：睿慕课《三维点云处理技术和深度学习在点云处理中的应用》激光雷达原理12款激光雷达测评，谁是最强王者？激光雷达优点:1，具有极高的分辨率2，抗干扰能力强3，获取的信息量丰富4，可全天时工作原理：三角测距TOF激光雷达分类：激光雷达应用安装方式:点云算法应用:激光雷达数据融合:激光雷达参数：激光雷达不仅可以获得深度信息，由于材质反射性质不同，也可...
2020-04-30 12:35:05
2471
1
原创 三维点云处理技术二：三维点云表征概述
三维点云数据获取方式及原理主要分为立体视觉测量法、结构光3D成像法、飞行时间TOF法。立体视觉测量法相机成像模型视觉SLAM14讲——相机模型介绍世界坐标系下的三维坐标点Pw⟶P_w\longrightarrowPw⟶相机坐标系下的坐标Pc⟶P_c\longrightarrowPc⟶归一化坐标Pnorm⟶P_{norm}\longrightarrowPnorm⟶畸变后的坐标Pd...
2020-04-29 22:39:12
4383
3
原创 Apollo公开课六：规划
规划: 根据高精度地图、定位和预测来规划舒适、无碰撞的轨迹，第一步是路线导航，给定地图、出发点和目的地，生成一条可行驶路线；第二步对路线进行调整规划轨迹，以使得乘坐更舒适，避开障碍物。最终生成的轨迹由一系列点构成，每个点关联一个位置和一个到达的时间。路径规划三个输入:地图: 提供了公路网和实时交通信息；在地图中的当前位置；目的地。Apollo通过智能搜索算法来寻找路径，首先将地图数据...
2020-04-29 16:26:34
381
原创 Apollo公开课三：定位
定位准确地获得无人车在地图中的精确位置。各种定位传感器的特点GNSS-RTK：GPS精确度一般为1~5米，RTK精确度为10cm以内，城市和峡谷中性能差，更新频率低IMU：更新频率快，但误差累积大，只适合短时间定位激光雷达：用点云匹配进行定位（ICP），滤波算法：Apollo用的是直方图滤波，卡尔曼滤波视觉定位：一般将视觉融合其他传感器进行定位，结合粒子滤波和摄像头观测信息进行定位，优...
2020-04-29 15:54:41
371
原创 排序算法运行效率问题
十大经典排序算法（动图演示）各个算法的时间、空间复杂度如下图所示：在此博主用python对其中六大排序算法进行编程，源码和运行结果如下（如有问题，欢迎在评论区批评指出）：# -*- coding: utf-8 -*-"""Created on Sun Apr 19 23:18:40 2020@author: 44886"""import copyimport timeimp...
2020-04-25 17:17:28
363
原创 状态估计第一讲：概述与基础知识
状态估计简介状态估计在自动控制系统里的作用：• 状态估计，是根据系统的先验模型和测量序列，对系统内在状态进行重构的问题概率密度函数我们定义x为区间[a,b]上的随机变量，服从某个概率密度函数p(x),那么这个非负函数必然满足:∫abp(x)dx=1\mathop{ \int }\nolimits_{{a}}^{{b}}p{ \left( {x} \right) } \text{d} x...
2020-04-24 17:38:36
4860
原创 Apollo公开课二：高精地图
高精度地图高精度地图包含许多辅助驾驶的信息，特别是道路的精确三维表达，还有许多语义信息，其最重要的特征是厘米级的高精度。高精地图与定位、感知的关系：无人车获取的传感器信息与高精地图进行匹配可以进行精确定位；传感器的感知范围有限，也无法感知障碍物后面的环境，地图先验信息可以辅助感知，同时也可以缩小检测范围，提高检测感知的速率和精确度；高精地图可以辅助寻找可行区域，辅助规划算法选择路径，通...
2020-04-22 17:12:41
431
原创 Apollo公开课一: 无人驾驶概览
课程内容高精地图—基础，支撑起其他的诸多功能；定位—在地图中的位置，基于激光雷达等传感器数据，获得在世界坐标系中厘米级定位；感知：利用深度学习“看”环境，检测，分类与分割；预测：预测行人以及其他车辆的运动轨迹；规划：根据预测和路线来生成轨迹；控制：使用转向、油门和制动来执行轨迹。无人驾驶等级Level0:基本等级，驾驶员是唯一的决策者;Level1: 驾驶员辅助系统，车辆提供...
2020-04-22 15:13:28
608
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人