VFA

对于稍微复杂的环境，state的数量很容易到达无穷多:只要state的表示中有一个连续变量。对此，有两种

在深度强化学习之前主要解决方案
1.对连续变量离散化，按照其所在的区间进行分类，从而退化回之前的Q-table解决，这个方法会损失精度，并在维度升高时，table大小指数级增长
2.用函数f(S,A; α)来估计Q(S, A)，其中α是可学习的参数（没有收敛性保障）

对α的学习方式很多，比如:
1.线性函数可以直接用最小二乘法拟合
2. 定义损失函数后可以通过类似于梯度 下降的方式优化
3.类似于进化的方法学习

---

如何在连续型state输入条件下使用Q-Learning