强化学习|状态价值函数解析解de向量形式的推导过程

求解贝尔曼方程有两种方法：一种是解析解的形式，一种是迭代解的形式。

解析解就是通过联立$|S|$个线性方程来求解$v(s_1,s_2,...s_n)$，但是在状态很多时计算复杂。通过研究解析解形式可以更方便的迁移到迭代解。

推导过程纯手写，LaTeX打太麻烦了。过程参考Davild PPT以及shuhuai008视频

有了解析解的形式，迭代解就好理解了，但是有一点，当k趋向无穷时，$V_{k+1}$ 趋向于$V_{\pi }$ 仍然需要证明。以后再证。