自适应动态规划学习笔记（3）

@TOC 自适应动态规划学习笔记（3）

第三天(图全是偷的)

图1 ADP的三个部分

Model Network

 书接上回，图（1）中所示的Model Network就是对于系统公式（1）$x_{k+1}=F(x_k,u_k)$中$F$的拟合，可以提前离线训练好，也可以和Critic Network、Action Network一起训练。这部分就是利用神经网络系统辨识部分，等后面有空会再记录系统辨识的知识。（推荐《系统辨识理论及MATLAB仿真》刘金琨著）
p：如果$F$有确定的表达，依旧需要建立Model Network,这是必须的。至于为什么，我母鸡啊。

Critic Network

 图（1）中展示展示的ADP的三个基本组成中，Critic Network输出对函数$J$的估计值$\hat{J}$,也就是对下式的估计（详见第一天）

$$J(x_k,\underline{u_k})=\sum _{i=k}^{\infty }{\gamma }^{i-k}U(x_i,u_i)\text{\hspace{1em}(2)}$$

Critic Network的损失函数或者说平方误差由下式确定
∣ ∣ E h ∣ ∣ = 1 2 ∑ k E k 2 = 1 2 ∑ k ( J ^ k − U k − γ J ^ k + 1 ) 2 (6) ||E_h||=\frac{1}{2}\sum_{k}E_k^2=\frac{1}{2}\sum_k(\hat{J}_k-U_k-\gamma\hat{J}_{k+1})^2\tag{6} ∣∣Eh​∣∣=21​k∑​Ek2​=21​k∑​(J^k​−Uk​−γJ^