K-ei-th-CSDN博客

原创论文学习 --- RL Contact-GraspNet Efficient 6-DoF Grasp Generation in Cluttered Scenes

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)随着机器人在家庭和工业环境中的广泛应用，如何在复杂和动态的环境中实现高效、准确的物体抓取成为一个重要的研究课题。抓取任务不仅要求机器人能够识别物体，还需要生成适当的抓取姿态来确保操作的成功。传统的抓取方法通常依赖于精确的模型和先验知识，这在实际应用中存在很大的局限性。为了解决这些问题，本文提出了Contact-GraspNet，一个基于点云处理的端到端深度学习模型，用于生成六自由度（6-DoF）的抓取姿态。

2024-07-17 18:05:05 933 3

原创论文学习 --- RL EARL Eye-on-Hand Reinforcement Learner for Dynamic Grasping with Active Pose Estimation

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)文章出处：https://arxiv.org/abs/2310.06751本文探讨通过主动位姿跟踪和强化学习实现手眼协调系统的动态抓取移动物体的能力。目前大多数基于视觉的机器人抓取方法隐含地假设目标物体是静止的或可预测的运动。然而，抓取不可预测运动的物体则提出了一系列独特的挑战。例如，预先计算的稳健抓取可能会因目标物体的移动而变得不可到达或不稳定，并且运动规划也必须具有适应性。

2024-07-17 11:35:08 925

原创 Reinforement Learning学习记录（五）

最近主要是尝试了两个大类的项目，第一个是视觉追踪，第二个是三维重建在对抗性强化学习中，遗憾被定义为在没有对抗干扰和存在对抗干扰的情况下，代理获得的期望值之差。具体来说，给定一个对抗性策略μ\muμ，策略π\piπ在观测状态ztz_tzt下的遗憾定义如下：其中，VπztVπzt是没有对抗的期望值，而VπμztVπμzt是存在对抗策略μ\muμ时的期望值。最大遗憾策略（Minimax Regret Policy）

2024-07-12 16:07:36 868

原创论文学习 --- RL Maximumdiffusion reinforcement learning

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)文章出处：https://techxplore.com/news/2024-05-random-robots-reliable-ai-algorithm.html为了确保路径满足连续性约束，引入路径变化率 ( \dot{x}(t) ) 的波动约束：其中，( \dot{x}(t) ) 是状态的变化率，(\mathbf{C}^{-1}[x(t)]) 是时间相关性矩阵的逆矩阵。这一约束确保路径变化的平滑性和连续性。

2024-07-05 17:38:36 875

原创论文学习 --- RL Breaking the Barrier Enhanced Utility and Robustness in Smoothed DRL Agents

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)文章出处：https://openreview.net/forum?

2024-06-28 15:15:27 602

原创论文学习 --- RL Regret-based Defense in Adversarial Reinforcement Learning

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)原文链接：本文提出了一种基于遗憾优化的方法来增强对抗性强化学习中的鲁棒性。我们定义并近似优化了一种新的遗憾度量，命名为累积矛盾期望遗憾（Cumulative Contradictory Expected Regret, CCER），并提出了三种优化方法：RAD-DRN（基于深度遗憾网络的对抗防御）RAD-PPO（基于近端策略优化的对抗防御）RAD-CHT（基于认知层级理论的对抗防御）

2024-06-27 18:53:35 619

原创 Reinforcement Learning学习（三）

最近在学习Mujoco环境，学习了一些官方的Tutorials以及开源的Demo，对SB3库的强化学习标准库有了一定的了解，尝试搭建了自己的环境，基于UR5E机械臂，进行了一个避障的任务，同时尝试接入了图像大模型API，做了一些有趣的应用，参考资料如下：下面我打算分为原理部分，实验过程，结果展示，后续优化几个方面来展开。

2024-06-10 22:39:46 735

原创 Imitation Learning学习记录（理论&例程）

本次基于数据收集：首先，需要收集人类专家在特定任务中的行为数据。这些数据通常包括机器人所处的状态（如位置、姿态、环境信息等）以及对应的人类专家在该状态下所采取的动作（如移动方向、操作指令等）。这些数据构成了行为克隆算法的训练集。模型训练：使用收集到的数据训练一个模型，如神经网络模型。这个模型将学习从状态到动作的映射关系，即根据机器人当前的状态预测应该执行的动作。在训练过程中，模型会不断优化其参数，以最小化预测动作与真实动作之间的差异。模型部署：训练好的模型可以部署到机器人上，用于指导机器人的行为。

2024-05-12 00:00:00 843

原创 Reinforcement Learning学习（二）

先前聊到强化学习的部分理论以及其简单的DEMO，那么我们不能只是空中楼阁，现在应该考虑如何将其投入物理环境中，以便能够sim2real。下面就来介绍一下Nivdia推出的Isaac gym–一种能够并行训练的RL环境。

2024-04-27 17:03:41 1061

原创 Reinforcement Learning学习（一）

之前好一阵没有更新博客是因为在参加考研，现在考研结束，笔者本人也将迎来新的学习机会，于是开始了Reinforcement Learning的学习，本人在这之前学习过传统的模式识别以及粗略地阅读过一些深度学习相关的综述文献，同时还有补充一点控制理论的知识，因此学习起来难度适中，接下来我会从理论学习、代码实战、仿真训练几个部分展开总结，一些预备知识的学习链接如下：RL的理论非常多，但目前我所实操使用到的理论仅有PPO和DDPG，因此这里我只会介绍这两种理论知识，具体的学习教程可以参考：首先交代一些前提知识，在强

2024-04-27 14:52:22 867

原创从OV2640了解图像传感器

A1: DOGND - 数字视频端口地线A2: EXPST_B - 快照曝光开始触发器输入A3: AGND - 模拟电路地线A4: SGND - 传感器阵列地线A5: VREFN - 内部模拟参考电压，使用0.1µF电容器连接到地线A6: STROBE - 闪光控制输出，默认为输入B1: DOVDD - 数字视频端口电源B2: FREX - 快照触发器输入，用于激活快照序列B3: AVDD - 模拟电路电源B4: SVDD - 传感器阵列电源。

2023-04-21 18:04:44 1040

原创初识脑机接口技术

BCI是一门结合了神经科学、计算机科学、生物医学的多方面的学科，BCI是一种通信系统，它不通过大脑的正常输出通道（外周神经和肌肉）来传递信息个人理解的一个狭义的实现流程应该如下通过可穿戴或者嵌入式的传感器设备采集大脑的生物信号，同时还需要保证以下几种性质1实时性：因为脑电信号的跳变过程是很快的（当然也有不需要高实时性的BCI方案，后面我会提及），因此对庞大数据的采集和处理变得尤为重要，这就要引出当下火爆的神经网络来实现特征提取和分类2高保真性。

2023-04-13 11:28:17 479

原创神经网络的学习（一）

最近正在补神经网络方面的功课，为研究生工作打好基础，特地在此记录一下学习过程其实本人很早以前就在用yolo做视觉处理了，但由于学艺不精只能掉包及调参，因此重新恶补一次，学习资料参考吴恩达老师的视频神经网络其实就类似我们大脑的神经细胞一样，正好利用下最近学习的神经科学的例子来说明一下可以看到上图所示的是两个神经细胞之间的信息通信，最上方的树突用来接收信息，相当于系统的输入输入后的信号经过细胞体的处理会将信息通过轴突输出给下一个神经元，这便是一个最简单的神经网络。

2023-02-27 00:26:14 232 1

原创 FreeRTOS学习（二）

前面已经大致了解了FreeRTOS的工作机制以及一些常用API的大致内容，接下来我打算从底层层面具体介绍一下任务创建和删除的API是如何实现的。

2023-01-09 13:20:02 697

原创 FreeRTOS学习（一）

最近正在学习和FreeRTOS相关的知识，在此记录一下，学习资料来自正点原子在学习之前，我也有一个和很多初学者共同的疑惑----Why RTOS？在探究这个问题之前，我想先回顾一下什么是RTOSRTOS即为Real Time Operating System（实时操作系统）在以往的裸机编程中我们会通过定时器中断结合while循环来控制单片机。

2023-01-02 20:14:06 651

原创 CAN通讯的学习（三）

这里我想提一个可能比较简单但是我个人理解了很久的一点：当我们在配置过滤器时如何取得扩展帧高16位的数据，教程给出的是>>13位，但以我的理解不应该是>>16位吗，后来翻看前面的笔记我才明白一个扩展帧最多才29位，并不是32位，因此只需要>>13位即可QAQ。由上表不难看出，通过配置SILM&LBKM来配置不同的测试模式用于测试CAN的工作情况，剩下的位除了保留位外均是用于配置时序长度，注意在软件配置时要进行’+1‘操作。一旦CAN上一个活动结束，CAN就会进入该模式，此时CAN_MSR中的INAK置1。

2022-12-28 17:40:12 1994

原创 CAN通讯的学习（二）

上图中波特率计算为1s/一个位的时间，TBS1&TBS2的Tq值通过寄存器配置，Tq的值也通过寄存器配置，其中TPCLK为系统时钟频率，CAN的外设挂载在36M的总线上。当空闲的FIFO收到有效报文（经过过滤器筛选后的报文）后FIFO会进入挂号1，若有效报文的数量很多，此时FIFO并不会马上读取报文，则会进入挂号2状态。其处理的报文的能力十分高效，F1的bxCAN包含了3个发送邮箱以及2个具有三级深度的接收FIFO，且具备有14个过滤器，这三者组成了bxCAN的核心。

2022-12-28 17:35:02 1453

原创 CAN通讯的学习（一）

CRC段就是用于校验，之前学习EEPROM的时候有提到，当时的外设就带有校验功能，通过一个多项式数学计算得出一个数值，将其与存储区的数值比较，若一致才代表数据无误，这里是一样的原理。RTR代表了远程发送请求位，之前提到遥控帧就是请求发送数据，那么不难理解，当RTR位为1时代表该帧为遥控帧，为0时代表该帧为数据帧，遥控帧和数据帧的最大区别就在于遥控帧没有数据段。在左上方串联了一个120Ω的电阻，他的作用是用于做阻抗匹配，以减少回波反射，简单来说就是优化信号，这个了解即可，并不是重点。

2022-12-28 17:31:13 981

原创从MPU6050了解姿态解算

我们想象在一个空间中有一个处于失重状态的球体，当箱子突然向左运动的时候，小球会受到一个反向的加速度此时根据牛三定律可以测出施加的加速度上面描述的只是一轴的情形，MPU6050的强大之处在于其能一次测出三个轴的惯性力，我们将框倾斜45°此时用平行四边形定则就可以得到三个方向的惯性加速度，用空间坐标表示就是一个三维的矢量场，三个分量分别对应三个不同的加速度。

2022-12-13 19:05:42 3740 1

原创 STM32定时器编码器模式实现直流有刷电机测速(HAL库)

最近在做一个单片机大作业，要用到直流有刷，在这里把学习编码器的知识记录一下，学习参考资料：正点原子DMF407电机控制专题教程_V1.0我所使用的编码器是市面上常见的磁电增量式编码器，其有AB两相，用于输出电机转动时的脉冲数，AB两相的先后顺序决定了电机的转动方向这其实就是单片机的外部计数器模式，51中也带有同样的功能信号从通道被采样后的处理过程如下编码器的计数接口是利用脉冲的边沿来计数的，我们知道AB两相都有脉冲且相位差为90度，那么一次检测最多可以得到四个边沿，此时我们可以通过配置计数的方式来实现不同的

2022-12-07 12:57:05 3475 1

原创基于Python&Tkinter&MySQL实现两层权限的共享图书管理系统

最近要做课设大作业，是一个有两层权限的共享图书管理系统，在之前已经完成了需求分析和概要设计后，现在要开始正式编码了由于有先前学生信息管理系统的工程经验，这次很多细节的东西就带过了依然是通过Navicat图形化数据库软件来创建数据对象，分别为三种使用者以及书籍，其内部要素如下BOOK CLIENT MANAGER ROOT_MANAGER这些信息可以和思维导图中的对象属性对应上，编码期间我做了一些修改，不过大致是相同的 UI设计我用的是Python自带的GUI库Tkinter 使用者调用程序后最先会进入主菜

2022-12-03 17:32:42 2391 2

原创基于ROS通过外设控制仿真机械臂运动

最近要实现手柄控制机械臂的运动，苦于经费不足，手柄目前还用不上，不得已采用鼠标代替，不过原理是一样的，其实笔者早些时间学过一点ROS，不过已经忘的差不多了，趁此机会好好恶补一下，学习资料参考《ROS机器人开发实践》

2022-11-24 23:38:02 1583

原创 SPI驱动XPT2046芯片读取其内部ADC信息笔记

这是一种全双工的串行外围总线，最少需要三根线，相较I2C而言，其优点是高速、能够同步通信缺点是没有应答机制，接收数据时有一定缺陷X、Y、Z、VBAT、Temp 和 AUX 模拟信号经过片内的控制寄存器选择后进入 ADC芯片部分并不是本文想要讲解的重点，这里就略过了。

2022-11-18 18:50:22 1662

原创基于OneWire通讯协议驱动DS18B20温度传感器笔记

这是一款由DALLAS公司推出的单总线接口的温度传感器，其具有体积小，适用电压宽，且接口简单等优点，是一款良好的数字化温度传感器该器件能够适应3.0-5.5V的电压，可通过IO口供电，通过一根信号线即可完成通信，且支持组网多点测温测温范围为，可编程位有9-12位，精度最高可到0.0625℃，9位分辨率是最多在93.75ms内把温度转换为数字，12位分辨率时最多在750ms内把温度转换为数字测量结果输出即为数字温度信号，同时带有CRC校验位，拥有良好的抗干扰能力。

2022-11-18 01:19:20 1069

原创 I2C驱动EEPROM芯片AT24C02笔记

常规的I2C共有两条管腿，分别为SCL（时钟）和SDA（数据），这是一种半双工的串行协议，优点为节省硬件资源且传输速度较快，缺点是不能同时收发数据，相较SPI这样的协议传输数据速度较慢，下面按照硬件层和软件层来介绍一下I2C。

2022-11-16 22:51:03 898

原创从TB67H450FNG了解电机驱动原理(PWM&FOC&三相逆变&PID)

最近在学习和电机驱动有关的知识，其中设计了PWM控制脉宽周期以及输出电压电流，FOC驱动算法，H桥驱动电路，PID控制......信息量过大，在此记录一下以防忘记，学习主要参考正点原子官网的电机资料以及下面的一些链接。

2022-11-11 01:33:20 6025 5

原创 STM32 HAL库的串口中断服务函数详解

最近在实现利用上位机通过串口发送指令给下位机执行操作的实验，在之前学习串口的过程中我就一直有一个疑惑，那就是为什么在串口中断回调函数内除了要加上自己的操作以外还要在末尾再执行一次接收中断，在查阅了一些资料后我才发现原来和中断服务函数有关。

2022-11-07 00:44:12 4696 1

原创从MT6816开始了解磁编码器

磁传感器使用的材料一般能够根据外界因素类似声光电的微小波动影响磁场后，这些敏感元件能将应变信号转换为电信号，通过单片机采样后转换为对应的数据，如：位姿，速度等一般市面上的磁传感器分为四大类：霍尔效应传感器(Hall Effect)，各向异性磁阻传感器(AMR)，巨磁阻传感器(GMR)，隧道磁阻传感器（TMR)，我们用到的MT6816就是AMR型的磁传感器下面就逐一介绍这四大类传感器相信攻读过中学学位的朋友都知道，霍尔效应的原理：当电流在磁场中流动时，电子与空穴会在磁场的作用下定向移动，形成电势差，称为霍尔电

2022-10-30 16:55:08 8342

原创 Python+MySQL+Tkinter设计学生信息管理系统（速成）

这里我们将先前在图形化界面创建好的数据对应上即可，这样就连接完成了#!# 打开数据库连接#生成数据库# 使用 cursor() 方法创建一个游标对象。

2022-10-28 01:31:06 9788 9

原创 HAL库配置STM32F1系列定时器驱动步进电机（四）（梯形加减速）

define L298NA1(state) HAL_GPIO_WritePin(GPIOF,GPIO_PIN_7,state) //定义信号线对应到电机的每个节拍号#define SPR 200 //旋转一圈要200个脉冲等于细分数*步距角*一圈对应的圈数#define PAI 3.1415926 //圆周率#define T1_FREQ 1000000 //定时器计数频率#define ALPHA ((float)(2*PAI/SPR)) //一个脉冲对应的角度。

2022-10-24 09:59:18 4163 5

原创 DR_CAN学习笔记（二）

简单来说就是一个输出的结果是由若干个输入独立影响且叠加产生的作用，就像是合力是由多个单独作用在作用点上的力经过合成得到的。这一次学习的内容为非线性系统的线性化，首先我们需要明确何为线性系统，其必须符合叠加原理，其所需条件如下。于是我们终于可以来解方程了，照着式子中的描述，我们令x1 = x,x2 =继续用上面的例子，在解题之前，我们需要提前了解非线性系统线性变换时的。不难想到，一般的二维非线性系统如果要线性化，我们需要找到。的线性化，题目给出的方程如下，可见存在一个非线性项。，这是一个高数的知识，比如。

2022-10-20 21:55:54 1529

Keitheasun的博客