写在前面:小白刚开始学习机器学习相关的的知识。参考了李宏毅教授的课程以及莫烦课程,磕磕绊绊,但有所收获。不断更新总结,若有错误之处。希望大家多指教。数学推导就不详写。
强化学习
强化学习的几个因素
- Actor 智能体
- state 状态(Observation) 来源于环境 不可控
- action 动作 不可控
- reward 奖励
怎样学习
让Actor不断尝试
目标
让Total reward值最大
策略 Π
策略是一个可输出函数
价值函数
在策略Π 下状态 S 的值,表示为 VΠ(S),是预期收益 动作价值函数 QΠ(s,a)
Policy Gradients
Policy Gradients 在强化学习应用时会直接输出预测的动作
使用Policy Gradients的优势,输出的action可以是一个连续的值