- 博客(58)
- 收藏
- 关注
RSS订阅原创 深入浅出3D感知中的优化与基于学习的技术 (第三章) 原创教程
RAFT - 基于循环全对场变换的光流估计光流是估计视频帧之间每个像素运动的任务。这是一个长期存在的视觉问题,至今仍未完全解决。最好的系统仍然受到快速移动物体、遮挡、运动模糊和无纹理表面等困难的限制。传统上,光流被视为一个在一对图像之间的稠密位移场上的手工优化问题[21,51,13]。通常,优化目标定义了一个折衷,在鼓励视觉相似区域对齐的数据项和对运动合理性施加先验的正则化项之间取得平衡。
2024-07-02 22:26:52
1010
原创 深入浅出3D感知中的优化与基于学习的技术 (第二章) 原创教程
总结了下基于学习的感知技术，会写一个新的系列教程讲解这部分三维感知技术的发展到最新的技术细节，并支持自己最近的项目开发和论文。，这一章先讲一些数学知识，这是看懂后面要讲解的论文和学术界前沿技术的关键。我们将导数视为向量空间之间的线性映射。更准确地说,给定在开集 U⊆XU\subseteq XU⊆X 和 V⊆YV\subseteq YV⊆Y 上定义的函数 F:U→VF:U\rightarrow VF:U→V 以及 a∈Ua\in Ua∈U,在 aaa 处的导数是一个线性映射 DF(a):X→YDF(a
2024-07-01 23:15:10
1270
原创 深入浅出3D感知中的优化与基于学习的技术1（原创系列）
近期几乎看了所有有关NERF技术论文，本身我研究的领域不在深度学习技术方向，是传统的机器人控制和感知。所以总结了下这部分基于学习的感知技术，会写一个新的系列教程讲解这部分三维感知技术的发展到最新的技术细节，并支持自己最近的项目开发和论文。
2024-07-01 00:16:58
858
原创 基于NEON优化的扩展卡尔曼滤波（EKF）教程
本教程详细介绍了扩展卡尔曼滤波（EKF）的原理，并展示了如何使用ARM的NEON指令集优化EKF的实现。通过使用NEON进行矩阵乘法优化，我们可以显著提高EKF的运行效率。此外，还介绍了在实际应用中需要注意的性能优化和实现细节。希望通过本教程，您能深入了解EKF的工作原理，并掌握如何利用NEON指令集进行高效的矩阵运算优化。如果有任何问题或需要进一步的帮助，请随时联系。
2024-06-28 11:30:23
922
原创 FC-Planner: 一个基于骨架引导的快速覆盖复杂3D场景的规划框架方案实现与难点讲解
FC-Planner的实现涉及到多个领域的技术,包括计算几何、组合优化、凸优化等。其中的难点主要集中在两个方面:一是如何在保证覆盖完整性的同时最小化视点数量和路径长度;二是如何高效地求解由此产生的各种优化问题。针对第一个难点,提出了骨架引导的空间分解和视点生成策略,可以避免大量的冗余计算。针对第二个难点,巧妙地利用了问题的结构特点,将其分解为多个易于并行求解的子问题,同时采用了各种启发式算法和凸优化技术,大大提高了求解效率。这些思想和技术不仅限于无人机覆盖规划,在其他路径规划问题中也有广泛的应用前景。
2024-06-23 16:16:54
874
2
原创 OpenCL 教程：从基础到实践
OpenCL（Open Computing Language）是一个开放标准的并行编程框架，用于在异构系统上编写高性能计算程序。它允许开发者利用各种计算设备（如 CPU、GPU、FPGA 等）来加速计算密集型任务。通过本教程，我们已经深入探讨了 OpenCL 的核心概念、编程模型、内存模型和执行模型。我们还通过实际的例子展示了如何实现和优化 OpenCL 程序。记住，优化是一个迭代的过程。始终使用性能分析工具来测量你的优化效果，并根据具体的硬件和问题特性来调整你的策略。
2024-06-23 14:25:49
3100
原创 基于自适应融合和偏置消除的鲁棒松耦合视觉惯性里程计
本文提出了一种新颖的松耦合视觉惯性里程计(VIO)算法,该算法解决了MEMS IMU中的显著偏置问题,并在具有挑战性的环境中提供了稳健的性能。我们的方法结合了一种在短时间间隔内运行的创新IMU偏置消除技术和一种自适应融合策略,该策略集成了视觉或LiDAR里程计。我们使用因子图优化框架制定了我们的方法,并通过闭环检测进一步增强了长期一致性。大量实验表明,我们的方法在各种具有挑战性的场景下都优于现有的最先进方法,特别是在快速运动或视觉退化的情况下,与现有方法相比,平均轨迹误差减少了25%。
2024-06-21 21:41:26
963
原创 哥伦比亚大学突破性的方法- Diffusion Policy：利用Action Diffusion进行视觉运动策略学习
本论文工作提出了一种名为Diffusion Policy的新型视觉运动策略学习方法，它利用了扩散模型强大的生成建模能力。通过引入时间衰减控制、视觉条件和时间序列扩散transformer等关键技术贡献，Diffusion Policy在各种复杂的机器人操作任务上实现了最佳性能，展示了其在机器人领域的广阔应用前景。
2024-06-21 00:01:23
1559
原创 基于 Clang和LLVM 的 C++ 代码静态分析工具开发教程
C++ 中经常使用typedef和using来定义类型别名。# 检查类型是否是互斥锁在这里,如果类型是一个typedef,我们使用方法获取其原始类型,然后再进行检查。静态代码分析是一种强大的技术,可以帮助开发者在编译之前发现代码中的潜在问题。通过分析代码的结构和语义,静态分析工具可以发现诸如空指针解引用、资源泄漏、竞态条件等问题。本教程将介绍如何使用 LLVM 库开发一个 C++ 静态分析工具。LLVM 是一个强大的编译器基础设施,广泛用于开发编译器、优化器、静态分析器等工具。
2024-06-20 19:02:13
1361
原创 常用损失函数详解：广泛使用的优化约束方法
今天介绍下损失函数，先介绍下我常用的方法SmoothedL1，它是一个平滑的L1 penalty函数,用于处理约束violation。L1x0xifx≤0ifx0其中x表示约束violation。然而,这个函数在x0处不可导,会给基于梯度的优化算法带来数值问题。为了解决这个问题,SmoothedL1使用了一个分段的、光滑的函数来近似L1 penalty。
2024-06-19 22:08:28
1521
原创 史上最详细的轨迹优化教程-机器人避障及轨迹平滑实现（干货满满）
轨迹不与任何障碍物相交(避免碰撞)轨迹尽可能平滑,没有急转弯(保持平滑)轨迹尽可能短,减少不必要的绕路(最小化长度)minxLxλsSxλcCxxminLxλsSxλcCxx\mathbf{x}x是轨迹的参数化表示,例如一系列的路径点坐标LxLx表示轨迹的长度SxSx表示轨迹的平滑度,可以用轨迹的曲率或加速度等量度CxCx表示轨迹与障碍物之间的碰撞代价λs\lambda_sλs和λc。
2024-06-16 17:16:42
2723
1
原创 斯坦福ALOHA机器人团队最新论文-HumanPlus: 从人类学习的人形机器人动作模仿和自主操作
斯坦福ALOHA机器人团队最新论文-HumanPlus，继续推进了机器人技术的前沿进展，我进行了部分翻译和解读：HumanPlus:从人类中学习的人形机器人影子(Shadowing)和模仿(Imitation)摘要构建与人类具有相似形态的机器人的一个关键论点是,我们可以利用大量的人类数据进行训练。
2024-06-15 23:00:34
1935
原创 CMU最新论文：机器人智慧流畅的躲避障碍物论文详细讲解
CMU华人博士生Tairan He最新论文：Agile But Safe: Learning Collision-Free High-Speed Legged Locomotion代码开源：Code: https://github.com/LeCAR-Lab/ABS我会详细解读论文的内容,让我们开始吧。腿式机器人在杂乱环境中导航必须兼顾敏捷性以提高执行任务的效率,同时要确保安全性以避免与障碍物或人发生碰撞。
2024-06-14 00:03:48
2722
1
原创 Google&DeepMind联合发布医学领域大语言模型论文技术讲解
Med-PaLM 2的医疗领域大语言模型,在多个医学问答基准测试中取得了接近或超过现有最佳结果的表现,包括在MedQA数据集上达到86.5%的准确率,比之前的Med-PaLM提高了19%以上。提出了一种新的提示策略Ensemble Refinement(ER),通过让模型先生成多个推理路径,再对路径进行整合来提高推理能力。这个策略与之前的Chain-of-Thought和Self-Consistency方法有相似之处。针对消费者健康问题的长答案进行了详细的人工评估。
2024-06-12 23:00:49
1636
1
原创 英伟达最新论文介绍：RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots
这篇论文个人认为很重要，目前机器人领域的chatgpt时刻还没到来，很大原因就是没有统一的系统物理执行机构和数据集。今天来介绍下这篇论文。
2024-06-12 22:36:58
940
原创 从零实现ChatGPT:第四章在无标签数据上预训练
当语言模型生成文本时，它们一次输出一个token。默认情况下，下一个token是通过将模型输出转换为概率分数并从词汇表中选择对应于最高概率分数的token来生成的，这被称为贪婪解码。使用概率采样和温度缩放，我们可以影响生成文本的多样性和连贯性。训练集和验证集损失可用于衡量语言模型在训练期间生成的文本质量。预训练语言模型涉及改变其权重以最小化训练损失。语言模型的训练循环本身是深度学习中的标准程序，使用传统的交叉熵损失和AdamW优化器。
2024-06-11 22:40:53
1249
原创 PyTorch tutorials：快速学会使用PyTorch
PyTorch是由Facebook人工智能研究实验室(FAIR)开发的开源深度学习框架。它建立在Torch库之上,Torch是一个使用Lua编程语言的机器学习库。Torch主要用于研究和学术领域,而PyTorch则旨在为研究人员和实践者提供一个Python友好的接口。PyTorch是为灵活性和速度而设计的。它提供了一个名为Tensor的主要数据结构,用于存储和操作多维数组。Tensor类似于NumPy的ndarray,但可以利用GPU来加速计算。
2024-06-10 22:11:40
1013
原创 史上最详细四叉树地图不同技术应用和代码详解
四叉树地图是一种强大的空间索引结构,在机器人导航、计算机图形学、地理信息系统等领域有着广泛的应用。本文介绍了四叉树地图的基本概念、主要变体及其研究进展,重点讨论了X-Quad树在机器人领域的应用。通过示例代码,我们展示了如何使用X-Quad树表示环境地图、进行路径规划、碰撞检测和占据栅格地图构建。X-Quad树的自适应性、紧凑存储和快速查询等特点,使其成为机器人导航中的理想选择。
2024-06-10 19:59:00
1189
原创 从零实现ChatGPT:第三章实现大型语言模型（2）
层归一化通过确保每一层的输出具有一致的均值和方差来稳定训练。快捷连接是跳过一个或多个层的连接，通过将一个层的输出直接馈送到更深层来帮助缓解深度神经网络(如LLMs)训练中的梯度消失问题。Transformer块是GPT-2模型的核心结构组件，结合了带掩码的多头注意力模块和使用GELU激活函数的全连接前馈网络。GPT-2模型是具有许多重复transformer块的LLMs，参数数量从数亿到数十亿不等。
2024-06-10 15:38:38
1334
3
原创 从零实现ChatGPT:第二章使用注意力Dropout减少过拟合
在本小节中,我们重点关注了神经网络中的因果注意力机制的概念和实现。我们将在此基础上实现多头注意力模块。
2024-06-09 13:03:35
1428
原创 从零实现ChatGPT:第一章构建大规模语言模型的数据准备
LLM需要将文本数据转换为数值向量,称为嵌入,因为它们无法处理原始文本。嵌入将离散数据(如单词或图像)转换为连续向量空间,使其与神经网络运算兼容。作为第一步,原始文本被分解为标记,可以是单词或字符。然后,标记被转换为称为标记ID的整数表示。可以添加特殊标记,如_unk_>和_endoftext_>,以增强模型的理解并处理各种上下文,例如未知单词或标记不相关文本之间的边界。GPT和GPT-2等LLM使用的字节对编码(BPE)标记化器可以通过将未知单词分解为子词单元或单个字符来有效处理未知单词。
2024-06-08 23:40:52
1734
原创 覆盖路径规划经典算法 The Boustrophedon Cellular Decomposition 论文及代码详解
2000年一篇论文 Coverage of Known Spaces: The Boustrophedon Cellular Decomposition 横空出世，解决了很多计算机和机器人领域的覆盖路径问题，今天我来详细解读这个算法。
2024-06-07 22:50:17
2823
原创 机器人近期最重要的论文之一 RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
高容量的大规模预训练模型,如大语言模型、视觉-语言模型等,可以为下游任务提供一个有效且强大的平台。这些模型不仅可以生成流畅的文本,还展现出新兴的问题解决能力、创造性写作和编程能力。视觉-语言模型甚至可以对图像中的物体-agent交互进行复杂推理。这种语义推理、问题解决和视觉解释能力,对于需要在真实世界环境中执行各种任务的通用机器人来说是非常有用的。但目前尚不清楚机器人应该如何获得这些能力。
2024-06-07 20:35:56
1215
原创 Meta最新路径搜索算法 Beyond A*: Better Planning with Transformers via Search Dynamics Bootstrapping详细讲解
transform终于理解了空间问题
2024-06-06 22:53:35
1302
原创 SpaceX 首席火箭着陆工程师 MIT论文详解：非凸软着陆最优控制问题的控制边界和指向约束的无损凸化
上一篇blog翻译了 Lars Blackmore(Lars Blackmore is principal rocket landing engineer at SpaceX)的文章，SpaceX 使用 CVXGEN 生成定制飞行代码,实现超高速机载凸优化。利用地形相对导航实现了数十米量级的导航精度,着陆器在着陆过程中成像行星表面并将特征与机载地图匹配来确定自己的位置。今天来讲解下Lars Blackmore 在MIT读博时候的成果：Non-Convex Soft Landing Optimal Contr
2024-06-05 22:29:12
1702
原创 SpaceX: 太空火箭自主精准着陆
本文是根据Lars Blackmore在16年的一篇公开论文翻译而来，虽然有些早而且是科普文章，但是可以初见一些SpaceX火箭着陆的细节，后面我会对spaceX landing control 技术主管MIT博士期间研究火箭控制算法的论文进行讲解，敬请期待。
2024-06-04 22:15:19
839
原创 CMU FAR Planner 在已知和未知环境中进行高效的导航任务算法详解
论文提出了一种能够处理已知和未知环境中导航任务的基于可视图的规划框架。该规划器采用多边形来表示环境,通过提取障碍物周围的边缘点形成封闭的多边形。在此基础上,该方法使用两层数据结构动态更新全局可视图,随着导航的进行扩展可视边,并删除被新观察到的障碍物遮挡的边。在未知环境中导航时,该方法能够即时获取环境布局,更新可视图,并根据新观察到的环境快速重新规划,从而尝试发现到达目标的路径。作者在仿真和真实世界中评估了该方法。
2024-06-02 23:11:33
1693
原创 Implicit-SDF-Planner代码详解（2）
在获得了一条初始路径后,下一步就是在此基础上生成一条光滑、安全、动力学可行的轨迹,这就是轨迹优化要解决的问题。其中,优化变量的排列顺序为[tau, xi],tau为时间变量,xi为控制点变量。最后,通过minco库的setConditions、setParameters和getTrajectory函数,生成最终的轨迹。代价函数还会计算各个代价对优化变量的梯度,存储在grad中。true这个函数遍历所有的障碍物点,对每个点计算其到swept volume的距离。
2024-06-01 23:57:28
856
原创 Implicit-SDF-Planner代码详解（1）
我对Implicit-SDF-Planner论文的解读浏览量还不错，所以准备对代码给出详细讲解。
2024-06-01 23:56:43
1036
原创 四旋翼飞行器数学模型详解及代码实现
{I}。通常选择地面上的一个固定点作为原点,x轴指向前,y轴指向左,z轴指向上。{B}。原点在四旋翼质心,x轴指向前,y轴指向左,z轴指向上。两个坐标系的关系可以用一个旋转矩阵R其中,P_I和P_B分别是惯性系和机体系下的同一个点的坐标。
2024-06-01 23:14:19
1181
原创 SO3控制器原理与实现(对飞行器的控制实践)
SO(3)控制器通过位置-速度-加速度的PD反馈，计算出合适的控制力，再根据控制力和期望偏航角求解出期望姿态，实现了四旋翼的姿态控制。该控制器优点是原理简单，计算高效，适合实时控制。但在实际应用中，还需要考虑更多因素，如外部扰动、执行器动力学、状态估计等，才能获得理想的控制性能。尽管如此，SO(3)控制器仍不失为姿态控制的入门和基础算法，对深入理解四旋翼控制具有重要意义。
2024-06-01 16:32:38
1248
原创 Unleashing Robotics: Mastering Quaternion Kinematics with Python - Chapter8（原创系列教程）
Unleashing Robotics: Mastering Quaternion Kinematics with Python - Chapter8(原创系列教程)本系列教程禁止转载，主要是为了有不同见解的同学可以方便联系我，我的邮箱 fanzexuan135@163.com。
2024-06-01 15:01:28
1061
原创 史上最详细讲解EGO-Planner: An ESDF-free Gradient-based Local Planner for Quadrotors论文思路和关键代码
本篇论文针对目前 ESDF 在无人机轨迹优化中存在的冗余计算问题,提出了一种高效的 ESDF-free 方法EGO-Planner。通过只存储轨迹实际经过的障碍物信息,构建了考虑平滑、避障和动力学约束的目标函数,并应用 L-BFGS 进行数值优化,最终生成高质量的轨迹。同时还引入轨迹细化技术提高了轨迹可行性。大量实验表明,该方法大幅降低了计算开销,具有很高的工程实用价值。作者开源的项目代码,极大方便了算法的学习和应用。这是一篇在无人机局部规划领域非常有价值的工作。
2024-05-29 23:17:12
2167
原创 Unleashing Robotics: Mastering Quaternion Kinematics with Python - Chapter7（原创系列教程）
在本章中,我们探讨了使用截断级数近似和龙格-库塔积分来近似状态转移矩阵。我们讨论了系统级截断和块级截断的概念,以及如何使用RK4方法数值积分状态和转移矩阵。这些技术在处理非线性和时变系统时特别有用,在这种情况下,精确的转移矩阵可能难以计算或计算成本高昂。通过使用截断级数近似或数值积分,我们可以获得转移矩阵的高效近似,从而能够实时执行状态估计。我们还讨论了这些技术在机器人应用中的相关性,如视觉惯性导航和航天器姿态估计。通过理解这些技术的原理及其在实际系统中的应用,我们可以设计出鲁棒、高效的状态估计算法。
2024-05-29 22:56:22
1128
原创 Unleashing Robotics: Mastering Quaternion Kinematics with Python - Chapter6（原创系列教程）
Unleashing Robotics: Mastering Quaternion Kinematics with Python - Chapter6(原创系列教程)（最关键一章）本系列教程禁止转载，主要是为了有不同见解的同学可以方便联系我，我的邮箱 fanzexuan135@163.com我们的目标是积分形如下式的非线性微分方程:x˙=f(t,x)\dot{x} = f(t, x)x˙=f(t,x)在有限的时间区间Δt\Delta tΔt内,将其转化为差分方程,即:x(t+Δt)=x(t)+∫tt+Δt
2024-05-27 19:55:34
944
原创 Stanford斯坦福 CS 224R: 深度强化学习 (7)
为了引入MTRL,我们首先回顾MDP的定义。一个MDPMMMSAPrρ0γMSAPrρ0γ其中SS是状态空间,AA是动作空间,PP是状态转移概率,rrr是奖励函数,ρ0\rho_0ρ0是初始状态分布,γ\gammaγ是折扣因子。一个策略π\piπJπEπ∑t0∞γtrstatJπEπt0∑∞γtrstat)]强化学习的目标是找到一个最优策略π∗。
2024-05-27 00:18:55
518
原创 深度强化学习在芯片设计和大语言模型中的应用
随着机器学习模型规模的不断增长,当前最先进的模型已经拥有数十亿甚至上万亿的参数。然而,硬件内存的增长速度远低于模型的增长速度。为了训练这些大型模型,我们需要将模型切分到多个设备上。而模型切分的方式对训练性能有很大的影响。输入:芯片组件网表,包括宏块、标准单元、它们之间的连线关系等。输出:将每个组件放置到一个二维网格上的位置。优化目标:最小化计算延迟、功耗、面积等,同时满足布线拥塞度等约束条件。芯片布局问题的解空间非常巨大,即使是简化版的问题,其状态空间也可达到10^9000。
2024-05-26 23:25:32
874
原创 Stanford斯坦福 CS 224R: 深度强化学习 (6)
AWR和IQL都是有前景的离线强化学习算法,可以从固定的离线数据集中学习策略,而无需与环境进行交互。它们通过对数据中的动作进行加权来约束学习到的策略,使其更接近数据收集策略。AWR使用蒙特卡洛优势估计和标准对数似然目标,而IQL使用TD学习、非对称值损失和加权对数似然。IQL通常在性能上优于AWR,因为它避免了蒙特卡洛估计的高方差问题,并允许学习到的策略超越数据收集策略。在实践中,离线RL算法通常很难调整和评估。超参数(如AWR中的alpha和IQL中的tau)可以显著影响性能,需要仔细调整。
2024-05-26 22:48:51
508
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人