Keitheasun的博客

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)随着机器人在家庭和工业环境中的广泛应用，如何在复杂和动态的环境中实现高效、准确的物体抓取成为一个重要的研究课题。抓取任务不仅要求机器人能够识别物体，还需要生成适当的抓取姿态来确保操作的成功。传统的抓取方法通常依赖于精确的模型和先验知识，这在实际应用中存在很大的局限性。为了解决这些问题，本文提出了Contact-GraspNet，一个基于点云处理的端到端深度学习模型，用于生成六自由度（6-DoF）的抓取姿态。

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)文章出处：https://arxiv.org/abs/2310.06751本文探讨通过主动位姿跟踪和强化学习实现手眼协调系统的动态抓取移动物体的能力。目前大多数基于视觉的机器人抓取方法隐含地假设目标物体是静止的或可预测的运动。然而，抓取不可预测运动的物体则提出了一系列独特的挑战。例如，预先计算的稳健抓取可能会因目标物体的移动而变得不可到达或不稳定，并且运动规划也必须具有适应性。

最近主要是尝试了两个大类的项目，第一个是视觉追踪，第二个是三维重建在对抗性强化学习中，遗憾被定义为在没有对抗干扰和存在对抗干扰的情况下，代理获得的期望值之差。具体来说，给定一个对抗性策略μ\muμ，策略π\piπ在观测状态ztz_tzt​下的遗憾定义如下：其中，VπztVπzt​是没有对抗的期望值，而VπμztVπμzt​是存在对抗策略μ\muμ时的期望值。最大遗憾策略（Minimax Regret Policy）

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)文章出处：https://techxplore.com/news/2024-05-random-robots-reliable-ai-algorithm.html为了确保路径满足连续性约束，引入路径变化率 ( \dot{x}(t) ) 的波动约束：其中，( \dot{x}(t) ) 是状态的变化率，(\mathbf{C}^{-1}[x(t)]) 是时间相关性矩阵的逆矩阵。这一约束确保路径变化的平滑性和连续性。

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)文章出处：https://openreview.net/forum?

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)原文链接：本文提出了一种基于遗憾优化的方法来增强对抗性强化学习中的鲁棒性。我们定义并近似优化了一种新的遗憾度量，命名为累积矛盾期望遗憾（Cumulative Contradictory Expected Regret, CCER），并提出了三种优化方法：RAD-DRN（基于深度遗憾网络的对抗防御）RAD-PPO（基于近端策略优化的对抗防御）RAD-CHT（基于认知层级理论的对抗防御）

最近在学习Mujoco环境，学习了一些官方的Tutorials以及开源的Demo，对SB3库的强化学习标准库有了一定的了解，尝试搭建了自己的环境，基于UR5E机械臂，进行了一个避障的任务，同时尝试接入了图像大模型API，做了一些有趣的应用，参考资料如下：下面我打算分为原理部分，实验过程，结果展示，后续优化几个方面来展开。

本次基于数据收集：首先，需要收集人类专家在特定任务中的行为数据。这些数据通常包括机器人所处的状态（如位置、姿态、环境信息等）以及对应的人类专家在该状态下所采取的动作（如移动方向、操作指令等）。这些数据构成了行为克隆算法的训练集。模型训练：使用收集到的数据训练一个模型，如神经网络模型。这个模型将学习从状态到动作的映射关系，即根据机器人当前的状态预测应该执行的动作。在训练过程中，模型会不断优化其参数，以最小化预测动作与真实动作之间的差异。模型部署：训练好的模型可以部署到机器人上，用于指导机器人的行为。

先前聊到强化学习的部分理论以及其简单的DEMO，那么我们不能只是空中楼阁，现在应该考虑如何将其投入物理环境中，以便能够sim2real。下面就来介绍一下Nivdia推出的Isaac gym–一种能够并行训练的RL环境。

之前好一阵没有更新博客是因为在参加考研，现在考研结束，笔者本人也将迎来新的学习机会，于是开始了Reinforcement Learning的学习，本人在这之前学习过传统的模式识别以及粗略地阅读过一些深度学习相关的综述文献，同时还有补充一点控制理论的知识，因此学习起来难度适中，接下来我会从理论学习、代码实战、仿真训练几个部分展开总结，一些预备知识的学习链接如下：RL的理论非常多，但目前我所实操使用到的理论仅有PPO和DDPG，因此这里我只会介绍这两种理论知识，具体的学习教程可以参考：首先交代一些前提知识，在强

A1: DOGND - 数字视频端口地线A2: EXPST_B - 快照曝光开始触发器输入A3: AGND - 模拟电路地线A4: SGND - 传感器阵列地线A5: VREFN - 内部模拟参考电压，使用0.1µF电容器连接到地线A6: STROBE - 闪光控制输出，默认为输入B1: DOVDD - 数字视频端口电源B2: FREX - 快照触发器输入，用于激活快照序列B3: AVDD - 模拟电路电源B4: SVDD - 传感器阵列电源。

BCI是一门结合了神经科学、计算机科学、生物医学的多方面的学科，BCI是一种通信系统，它不通过大脑的正常输出通道（外周神经和肌肉）来传递信息个人理解的一个狭义的实现流程应该如下通过可穿戴或者嵌入式的传感器设备采集大脑的生物信号，同时还需要保证以下几种性质1实时性：因为脑电信号的跳变过程是很快的（当然也有不需要高实时性的BCI方案，后面我会提及），因此对庞大数据的采集和处理变得尤为重要，这就要引出当下火爆的神经网络来实现特征提取和分类2高保真性。

最近正在补神经网络方面的功课，为研究生工作打好基础，特地在此记录一下学习过程其实本人很早以前就在用yolo做视觉处理了，但由于学艺不精只能掉包及调参，因此重新恶补一次，学习资料参考吴恩达老师的视频神经网络其实就类似我们大脑的神经细胞一样，正好利用下最近学习的神经科学的例子来说明一下可以看到上图所示的是两个神经细胞之间的信息通信，最上方的树突用来接收信息，相当于系统的输入输入后的信号经过细胞体的处理会将信息通过轴突输出给下一个神经元，这便是一个最简单的神经网络。

前面已经大致了解了FreeRTOS的工作机制以及一些常用API的大致内容，接下来我打算从底层层面具体介绍一下任务创建和删除的API是如何实现的。

最近正在学习和FreeRTOS相关的知识，在此记录一下，学习资料来自正点原子在学习之前，我也有一个和很多初学者共同的疑惑----Why RTOS？在探究这个问题之前，我想先回顾一下什么是RTOSRTOS即为Real Time Operating System（实时操作系统）在以往的裸机编程中我们会通过定时器中断结合while循环来控制单片机。

这里我想提一个可能比较简单但是我个人理解了很久的一点：当我们在配置过滤器时如何取得扩展帧高16位的数据，教程给出的是>>13位，但以我的理解不应该是>>16位吗，后来翻看前面的笔记我才明白一个扩展帧最多才29位，并不是32位，因此只需要>>13位即可QAQ。由上表不难看出，通过配置SILM&LBKM来配置不同的测试模式用于测试CAN的工作情况，剩下的位除了保留位外均是用于配置时序长度，注意在软件配置时要进行’+1‘操作。一旦CAN上一个活动结束，CAN就会进入该模式，此时CAN_MSR中的INAK置1。

上图中波特率计算为1s/一个位的时间，TBS1&TBS2的Tq值通过寄存器配置，Tq的值也通过寄存器配置，其中TPCLK为系统时钟频率，CAN的外设挂载在36M的总线上。当空闲的FIFO收到有效报文（经过过滤器筛选后的报文）后FIFO会进入挂号1，若有效报文的数量很多，此时FIFO并不会马上读取报文，则会进入挂号2状态。其处理的报文的能力十分高效，F1的bxCAN包含了3个发送邮箱以及2个具有三级深度的接收FIFO，且具备有14个过滤器，这三者组成了bxCAN的核心。

CRC段就是用于校验，之前学习EEPROM的时候有提到，当时的外设就带有校验功能，通过一个多项式数学计算得出一个数值，将其与存储区的数值比较，若一致才代表数据无误，这里是一样的原理。RTR代表了远程发送请求位，之前提到遥控帧就是请求发送数据，那么不难理解，当RTR位为1时代表该帧为遥控帧，为0时代表该帧为数据帧，遥控帧和数据帧的最大区别就在于遥控帧没有数据段。在左上方串联了一个120Ω的电阻，他的作用是用于做阻抗匹配，以减少回波反射，简单来说就是优化信号，这个了解即可，并不是重点。

我们想象在一个空间中有一个处于失重状态的球体，当箱子突然向左运动的时候，小球会受到一个反向的加速度此时根据牛三定律可以测出施加的加速度上面描述的只是一轴的情形，MPU6050的强大之处在于其能一次测出三个轴的惯性力，我们将框倾斜45°此时用平行四边形定则就可以得到三个方向的惯性加速度，用空间坐标表示就是一个三维的矢量场，三个分量分别对应三个不同的加速度。

最近在做一个单片机大作业，要用到直流有刷，在这里把学习编码器的知识记录一下，学习参考资料：正点原子DMF407电机控制专题教程_V1.0我所使用的编码器是市面上常见的磁电增量式编码器，其有AB两相，用于输出电机转动时的脉冲数，AB两相的先后顺序决定了电机的转动方向这其实就是单片机的外部计数器模式，51中也带有同样的功能信号从通道被采样后的处理过程如下编码器的计数接口是利用脉冲的边沿来计数的，我们知道AB两相都有脉冲且相位差为90度，那么一次检测最多可以得到四个边沿，此时我们可以通过配置计数的方式来实现不同的