- 博客(20)
- 收藏
- 关注
RSS订阅原创 策略梯度(policy gradient)直观理解
policy gradient有不同的数学表达形式，但是最根本的直观理解，还是说找到一个策略，让这个策略在特定任务下生成的所有可能路径的期望回报最大。期望形式的表达可能还是有点抽象，但是我们具体化用加和符号来表达的话就容易理解了，比如我们一共有66条轨迹，每个轨迹对应一个总体回报Gi，每个轨迹都是概率发生的，那么66个轨迹就有66个概率，这个概率也就所策略生成该轨迹的概率，那么期望怎么算呢？所以策略梯度实际上是一个名词，策略的梯度，策略容易理解是学习一个policy，那么为什么需要梯度？
2025-04-29 21:31:18
294
原创 再读强化学习27April
感觉强化学习的难以理解的点在于直观理解与数学抽象，强化学习研究的对象多是大样本与长时间分布，通过期望，梯度等抽象数学概念去糅合到一个公式去表达是比较复杂的，特别是对于数学概念理解比较薄弱的情况，这就需要很多例子去直观理解，再返回到数学公式中，反复不断理解才能深入。
2025-04-27 00:10:51
214
原创 IsaacLab最新2025教程(7)-引入IK solver控制机器人
IsaacLab最新2025教程(7)-引入IK solver控制机器人。
2025-03-26 23:30:07
1450
原创 github上传本地文件到远程仓库（空仓库/已有文件的仓库）
今天搞自己本地训练的代码到仓库留个档，结果遇到了好多问题，到腾了半天才搞明白整个过程，留在这里记录一下。
2025-03-19 01:13:21
802
原创 IsaacLab开发随记fixedTendon & spatialTendon
记一下最近用到的fixed tendon和spatial tendon，感觉还是理解的不太透彻，这部分主要是isaacsim的内容，文档链接：
2025-03-17 05:25:27
184
原创 IsaacLab开发随记Tendon
IsaacSim也有tendon了，搞了个连续体机器人仿真，感觉不太靠谱啊，搞完突然发现isaaclab没API也没法立刻放进去训练，淦，感觉白干了。
2025-03-10 21:53:20
241
原创 IsaacLab开发随记
今天搞deformable object发现仿真真垃圾阿。教程也没怎么写，感觉isaacsim也没有搞出来一个合理的开发。特别是加载自定义asset时候，更是恶心，很多细节都搞不出来，打算去看看mujoco了，听说mujoco动力学仿真很强。
2025-03-07 17:50:51
435
2
原创 IsaacLab开发随记
神奇的事情发生了，和之前一样顺利了，几十个episode就插进去了，也不在孔周围晃了。很奇怪，因为如果是spring-damping模型（类似pd控制），我调大限制和刚度，damping参数，只是让驱动力变小，移动变慢，但是不会出现达不到的问题呀。Isaacsim给出的文档是说默认的他们开发的implicit actuator类似于spring-damping模型，需要给定stiffness和damping，同时还可以设置velocity和effort的limitation。
2025-03-03 17:42:08
374
原创 IsaacLab最新2025教程(6)-导入接触力传感器contact sensor并读取数据
最近做仿真时候需要处理力反馈数据，之前用isaacsim 2023.1.1版本时候使用的是F/T sensor，直接或许UR机械臂末端的传感器数据，但是特别烂，值完全不对，gripper夹取一个3kg垂直提升时候读取数据是200还是300N，而且physics_dt值不同时候数值也跟着变，无语了，最近isaaclab这个直接contact force更新的更完善了，出个经验贴给大家分享一下，做locomotion或者力控都很有用。
2025-02-26 19:55:33
2311
2
原创 IsaacLab最新2025教程(4)-导入刚体和柔性物体并配置物理参数
机器人和物体的交互数据在强化学习中很重要，而且和domain randomization有很强的联系，依然还是根据官网教程介绍一下流程，但是isaaclab教程没有导入自定义物体的教程，后续有时间会出一个加载自定义object的帖子，比如urdf，stl，step等格式的教程，不过这个主要是isaacsim的内容了。
2025-02-24 10:15:00
1045
原创 IsaacLab最新2025教程(5)-导入机器人并进行简单控制
之前的文章介绍了导入object并设置静态和动态的物理属性。这篇文章主要介绍articulation。控制articulation类其实底层思路和控制object差不多，导入物体类函数，设置物理参数，生成物体在仿真环境中，通过该类直接写入位置，速度或者驱动力。文章还是基于官方的tutorial结合自己的开发经验进行注解。
2025-02-11 18:35:41
696
原创 IsaacLab最新2025教程(4)-设置物体物理属性并进行交互
IsaacLab最新2025教程(3)-搭建训练场景-CSDN博客。我会标记一些我认为后续开发经常要用到的点和tips。
2025-02-10 18:08:11
604
原创 IsaacLab最新2025教程(2)-借助Isaaclab_tasks快速开发自己的训练环境
IsaacLab最新2025教程-借助Isaaclab_tasks快速开发自己的训练环境
2025-02-06 22:06:10
2961
原创 IsaacLab最新2025教程-环境配置(IsaacSim 4.5.0/Ubuntu22.04) 原创
2025最新Isaac Lab环境配置(Isaac Sim 4.5.0/Ubuntu22.04)
2025-02-05 16:29:07
9851
55
原创 IsaacLab最新2025教程-环境配置(Isaac Sim 4.2.0/Ubuntu22.04) 原创
Isaac Lab基于 Isaac Sim 4.2.0版本的ubuntu22.04环境配置
2025-02-05 05:40:38
4420
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人