本文深入探讨了强化学习中的关键概念，包括状态价值函数vπ(s)——它代表从状态s开始遵循策略π的期望回报；动作价值函数qπ(s,a)——表示在状态s采取动作a后的预期总奖励；以及状态-动作奖励r(s,a)。此外，还阐述了vπ(s)与qπ(s,a)之间的贝尔曼方程关系，并介绍了其他相关公式。"
123153719,12239820,2022-2028年中国微创治疗市场研究报告：行业趋势与投资策略,"['医疗设备', '健康科技', '医疗行业', '投资分析', '市场研究']
状态价值函数 v π ( s ) v_{\pi}(s) vπ(s)
定义为：从状态s开始，采用策略 π \pi π 的期望回报：
v π ( s ) = E π [ G t ∣ S t = s ] v_\pi(s) = E_\pi[G_t|S_t = s] vπ(s)=Eπ[Gt∣St=s]
其中 G t G_t Gt 定义为未来奖励之和：
G t = R t + 1 + γ R t + 2 + . . . = ∑ τ = 0 ∞ γ τ R t + 1 + τ \begin{alignedat}{2} G_t &= R_{t+1} + \gamma R_{t+2} + ...\\ &=\sum_{\tau = 0}^{\infty}\gamma^\tau R_{t+1+\tau} \end{alignedat} Gt=Rt+1+γRt+2+...=τ=0∑∞γτRt+1+τ
状态-动作的期望奖励
r ( s , a ) = E π [ R t + 1
最低0.47元/天 解锁文章
扫一扫
792
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
