强化学习的一些基本知识

最近在看高斯回归在强化学习中的一些应用的知识，但是自己一直对有关的值迭代和策略迭代以及基于模型和模型无关控制这几点一直没有弄明白。

个人理解，值迭代过程必然包含策略更新这一个过程。而策略更新是和Q值紧密联系在一起的。策略迭代是指以一个初始的策略开始，不断进行策略的迭代过程直到找个一个near-optimal策略。

为此看了一下silver的PPT材料，目前就看到前两个章节，把自己以前不熟悉的地方记录如下：
不同领域的说法
Statistics: Bayesian sequential theory
Engineering: optimal control
Computer science, psychology: reinforcement learning
RL的分类：
1. 解决方法：value based; policy based; Actor-Critic
2. 是否需要模型：model-based; model-free
3. 交互程度：offline; online
预测和控制的区别：
预测（prediction）：Evaluate the future
控制（control）：optimize the future, find the best policy
最后一点，贝尔曼方程是一个线性方程，而贝尔曼最优方程则为一个非线性方程。