小白强化学习

看的这个网课Lesson2-1-MDP、Q表格_哔哩哔哩_bilibili

一. 四元组s,a,r,p; Q函数, V函数，衰减因子γ

r函数的值表示会奖励多少

p是状态转移概率<就是另一种情况的概率>

强化学习就是解决未知的环境

V：价值函数，代表这个状态是好是坏

Q：判断什么状态下做什么动作能拿到最大奖励

/

要计算未来收益G=R1<价值一>+R2<价值二>+...

要更关注更近的收益<太远的收益没有太大意义>

γ是衰减因子

最后要得到这一张表格

可以每走一步就更新一次Q表格，用下一个状态来更新Q值

持续差分的更新方法：单步更新

当铃铛和食物一起出现多次时，铃铛对小狗就代表着有食物

比如说原本不认为铃声有价值，但是后面就会慢慢意识到铃声是有价值的

这样会得到多级条件反射，下一个状态的价值会不断强化影响上一个状态的价值

用下一步的Q值更新上一步的Q值

Gt会和Gt+1产生联系，每次只更新一点点来不断逼近Target

​​​Sarsa

获取这几个值就可以开始更新

最重要的两个步骤：选动作，更新表格