Q学习 -- C语言版本
Q学习
菜鸟一个,搞这些东东好多都还是不会,请大家谅解!
Q学习是什么
强化学习中的一种方法,Q就是我们的学习对象。Q值是指在某种状况下,为了选取下一个要采取行动的指标数值集合。根据Q学习可以获得Q值,在某个状态下,选择下一个状态行动时,可根据Q之来选择。具体可参考维基百科.
Q学习步骤
- 对所有的Q值用随机数进行初始化
- 重复下列操作直至学习非常充分
2.1. 返回动作的初始状态
2.2. 从选择的动作中,基于Q值选择下一次的行动
2.3. 行动后可根据下述公式(式1)进行更新Q值
Q ( s t , a t ) = Q ( s t , a t ) + α ( r + γ ∗ m a x ( Q ( s t − 1 , a t − 1 ) − Q ( s t , a t ) ) ) Q(s_t, a_t) = Q(s_t, a_t) + \alpha(r + \gamma * max(Q(s_{t-1}, a_{t-1}) - Q(s_t, a_t))) Q(st,at)=Q(st,at)+α