qq_35975855的博客

上学期和最近无聊在看一些最优控制、轨迹优化相关的内容，涉及到MIT Russ Tedrake教授的，以及CMU Zachary Manchester教授的（两套课程其实挺像的），加起来估计也看了十多天了。其中后者已经有些忘记了，因此开此文来记录学习感悟，梳理脉络，方便自己日后快速捡起（或是仅仅当做回忆也可以hh）两门课程的内容量都非常大，本人更多记录感悟和关键，不记录全部推导等细节（可能有重要简单的推导，再细节不如直接回去，前者看，后者可以参考这位大佬的。

CQL的第一个Q​k1←argQmin​αEs∼Da∼μa∣s​Qsa)]21​Esa∼D​Qsa−BπQ​ksa2其中B就是贝尔曼迭代算子，就是常见的那个贝尔曼迭代公式，D就是数据集，表示估计（由数据集估计），π表示当前在训练的策略，μ的s分布和数据集的策略πβ​一致，也就是说μsadπβ​sμa∣s。

off policy：采样策略和目标策略不一样，如Q learning（td）用Q*在evaluate epsilon-greedy Q。为什么Qlearning不用重要性采样：因为最优贝尔曼等式右侧期望只与状态转移分布有关，和策略无关。on policy：一样 如ppo（policy gradient） sarsa（td）

rt。

openacc 踩坑经验

注意这个protoc指令给proto文件名的时候前面不能带路径，所以需要额外加-I。

打个卡。

安装后运行nvidia-smi有结果然后去cuda官网找相应版本的toolkit，不要用Ubuntu的源，会对不上版本而冲突需要在.bashrc中加入如下命令安装后重开terminal运行nvcc -V有结果，且不会因为冲突导致运行nvidia-smi无结果。

python和HC05通讯

使用HC-05蓝牙模块

【代码】ubuntu22以下 安装gcc12。

对rviz消息接收

electron-ssr报错

electron-ssr报错

ubuntu非源码安装opencv

ubuntu 安装 java

通过MATLAB进行PID参数科学整定

gazebo创建世界和机器人模型 并且在ros-noetic启动

jetson nano csi