我爱科研00-CSDN博客

原创 lecture09 Convex 模型预测控制（MPC）

Lecture 9 Convex 模型预测控制（MPC）目录凸集与凸函数convex MPC动机前面花了两节来讲如何使用各种方法推导LQR问题的解。虽然LQR非常特殊（Cost必须得是二次的，系统方程必须得是线性的），但是即使对于非线性系统（如倒立摆），对于轨迹跟踪任务（对应TVLQR-时变LQR）或稳定任务（对应TILQR-时不变LQR），仍然可以在期望的轨迹处进行线性化，也可以取得不错的控制效果（因为控制率会倾向于让系统一直保持在线性化点附近）。但是，经典LQR最大的问题就是，无法处理任

2023-05-14 14:49:18 540

原创 HW3 基于iLQR/DDP四旋翼控制

在本题中，需要实现迭代LQR算法（iterative LQR）即微分动态规划DDP的高斯牛顿近似版本。我们将利用iLQR来优化（生成）的轨迹，并且实现一个高难度的翻滚动作（Flip）。最后，我们在实验中验证根据iLQR/DDP算法所得到的TVLQR控制率，并在存在外界扰动的情况下（如风）实现轨迹的鲁棒跟踪。

2023-05-14 14:47:43 509 1

原创 HW2(3) 基于MPC的火箭软着陆问题

在本问题中，我们将比较TILQR（时不变LQR）与QP-based MPC控制器在火箭发射器的软着陆问题上的性能比较。（着陆问题是一个stablization问题，一般用时不变LQR）

2023-05-14 14:46:06 228

原创 HW2(2) TVLQR(时变LQR)汽车轨迹跟踪

本问题中我们使用时变LQR（time-varying LQR）来一个简化汽车非线性模型的轨迹。因为是tracking问题而不是stablization问题，因此使用时变LQR而不是时不变LQR，但是，在Riccati recursion看来，推导过程并没有什么区别。

2023-05-14 14:45:25 254

原创 HW2(1) 四足狗单足平衡点寻找与LQR平衡控制率

本问题利用我们所学的的知识和基础的的方法来寻找单足机械臂平衡点（理论上从不同的初始值开始，可以找到许多不同的平衡点），所用的机械狗为宇树A1。而后利用找到的平衡点，在并设计线性LQR控制器来。

2023-05-14 14:43:54 178

原创 lecture12 直接配点法（Direct Collocation）

DIRCOL与DDP都是轨迹优化问题比较常用的方法，有着各自的优点与缺点，各地不同的实验室有着不同的集中点，都会更侧重于使用其中的某一个方法。下面仔细对比分析两者（详细的原因解释参考Lecture 11 12）。指标DDP/iLQR（间接法）Direct Collocation（直接法）动力学可行性在整个迭代过程中，即使未完全收敛到局部极小值，系统动力学是一直可行的，因此即使优化未完全收敛，也可以将优化的结果给机器人执行，利于实时控制在迭代过程中，由于不存在前向rollout的过程，因此，

2023-05-14 14:38:02 717 2

原创 lecture11 DDP/iLQR扩展

但是，这种实践上的效果不够下面所述的给每个Knot Point都设一个不同的h好用，因为需要需要经过一个很长的梯度传导才能把最终的Cost传回来，会有一些数值问题。因为DDP有这个问题，所以在90%的情况，我们都是使用的iLQR法（两者差别详见Lecture 10），iLQR法类似高斯牛顿法，Hessian矩阵一定是半正定的，效果往往比DDP好。会有一个上界值，此时若约束迭代地还不满足，则采用类似投影的方式，让问题快速收敛于约束中，这个投影是基于一个等式约束的QP问题来做的，目的是在。

2023-05-13 21:49:04 484

原创 lecture10 非线性轨迹优化（DDP/iLQR法）

Lecture 10 非线性轨迹优化（DDP/iLQR法）目录Convex MPC应用微分动态规划（DDP）与迭代LQR(iLQR)Convex MPC应用火箭软着陆火箭的推力与其角度的变化可以表示成一个二阶锥约束，凸集。并且实践中也可以使用金字塔约束（多边形）来近似该锥约束，将约束转成Ax≤BAx \leq BAx≤B的线性形式，则可以继续用QP求解器求解。教授提到：火星着陆和Space X使用的都是SOCP-base MPC，将动力学在参考轨迹附近线性化。四足机器人

2023-05-13 21:47:43 1535

原创 lecture08 LQR系统的能控性与动态规划

且通过动态规划的推导，从更本质的原因分析了，为什么LQR的解会具有那样的一个性质，而不是仅仅是在玩数字游戏（因为贝尔曼准则告诉我们，应该从后面开始向前迭代，并且每一步根据最优的Cost-to-Go都可以解出一个最优的反馈控制率）。同样用DP解Lecture 7中的双积分器问题，得到如下结果，因为系统本身是线性的，所以通过不同方法求出来的LQR控制率都是一样的。（就很像强化学习中的action和value，不过在强化学习中，这些都是以期望形式存在的，也没有一个确定性的系统方程，都是概率）。

2023-05-13 21:46:39 233

原创 lecture07 LQR（Linear Quadratic Regulator）的三种解法

（状态方程和Q R），与初始状态无关。而(14)(16)的值都是与。

2023-05-13 21:45:48 775

原创 lecture06 确定性最优控制（Deterministic Optimal Control）

但是，假如我是x(t)和u(t)一起优化的方式，我可以通过动捕数据提前采好人类行走时候的x(t)给到优化器作为初始值，这样子即使我没有一个好的初始的u(t)，我也能让整个优化问题至少一开始不在一个很奇怪的状态。1980年代，鲁棒控制开始被研究，在那之前人们自然想着，像LQR这种最优控制器是自然稳定的，但是有人证明了，在LQR参数矩阵中施加一些很小的噪声，也会使整个控制系统发散，因此带来了许多相关研究。的思想，当转轴转速增加时，则在机械装置的作用下，自动调小蒸汽输入，开启了反馈控制系统的研究序幕。

2023-05-13 21:43:59 247

原创 lecture04 约束最优化问题

并且，KKT条件只是告诉我们，在极值点处会是一个怎样的情况，并没有说如何迭代或者如何优化才能到极值点，因此具体如何解这个问题，以及各个case怎么处理，要看具体的求解器。（因为是求根），得到(5)的根的迭代式子，也就是(4)的局部极值点的迭代式子（回忆一下，在Lecture 4中介绍单变量的牛顿法，我们也是那么做的）是约束，来自实际的物理系统，往往比较复杂也比较难以微分，因此，在对式子(7)迭代时候，可以考虑丢弃(8)中的第二项，这种方法叫做。，因此，每一步迭代都是向着下降的方向迭代。

2023-05-13 21:40:12 318

原创 lecture03 求根法与无约束的最优化问题

的泰勒展开，用局部二次函数来拟合目标函数，通过不断寻找二次函数的局部极值点（不一定是极小值，这取决于拟合的二次函数是凸的还是凹的，下面会仔细讲）来使最终的函数收敛于极值。，这是好用的，一来保证了下降方向，二来可以起到shrinking step的作用（一般牛顿法得到的步长都会较大）。ps：本质上来说牛顿法不是一个优化方法，它只是一个求根法，但是通过牛顿法，我们可以找出局部梯度为0的点，但是。则类似是一个动态的步长（在一维的情况，在高维的情况这就是一个矩阵了，可以调整方向），而梯度下降法的基本公式为。

2023-05-13 21:39:14 187 1

原创 Lecture 2 离散状态方程、数值积分与稳定性

下面分析前向欧拉积分和RK4积分方法的特征值随着步长h的变化（对于本单摆系统），可以看出在所有正的步长范围内，前向欧拉法的特征值都是在单位圆外的，因此对于undamped系统来说是不稳定的，而在很大范围内，RK4法的特征值都是在1，刚好在单位圆上，这表明，通过RK4积分出来的系统更符合实际的情况。更高阶的控制近似也不意味着更好，如在输入受限下，一个双积分器系统的时间最短问题（经典bangbang控制问题），它的最优控制率不是光滑的，这个时候取更高阶的也没有意义，零阶保持器反而能更好的完成任务。

2023-05-13 21:37:34 443 1

原创 lecture01 系统状态方程、平衡点与稳定性

平衡点的概念对于一个非线性系统的控制来说是比较重要的，因为我们可以在平衡点处对非线性系统进行线性化后再利用成熟的线性控制理论来求解复杂的非线性控制问题。是一个雅可比矩阵，为了分析此时系统的稳定性，我们可以通过找到一组坐标线性变换方式（coordinate transformation）,将系统的所有状态转化成独立的，则将n维系统转成n个独立的系统。一起构成的流形（manifold）。一个稳定的平衡点，在该点处受到微小的扰动后，应该是能够重新回到该平衡点的，考虑一维下的情况，一个3次多项式的系统方程。

2023-05-13 21:35:45 1565

原创 Introduction CMU最优控制16-745超详细学习笔记

CMU 16-745这门课的名字叫做Optimal Control and Reinforcement Learning，授课老师是Zachary Manchester（老师能把这么好的课开放出来）。最初了解到有这门课是去年年底在youtube冲浪的时候偶然看到，不过当时候直接被吓人的总时长（每节课一个多小时，24个Lecture）和糟糕的手写英文给劝退了，且年末那会也没那么有空，懂得东西也不多。

2023-05-13 21:34:36 647 2

qq_37402266的博客