GFlowNet Foundation 笔记（五）

系列文章
GFlowNet Foundation 笔记（一）
GFlowNet Foundation 笔记（二）
GFlowNet Foundation 笔记（三）
GFlowNet Foundation 笔记（四）

期望的奖励和奖励最大策略

Def 37. 对于在终止状态上的任意分布 $P_{\pi }(s)$ ，期望奖励( expected reward ) 为
$$V_{P_{\pi }}(s)=E_{P_{\pi }(S)}[R(S)|S\ge s]=\sum _{s^{\prime }\ge s}R(s^{\prime })P_{\pi }(s^{\prime }|s\le s^{\prime })$$

Prop 26. 如果在终止状态上的分布为 $P_T$ ，期望奖励为
$$\begin{array}{rl}{V}_{P_T}(s)& =\sum _{s^{\prime }\ge s}R(s^{\prime })P_T(s^{\prime }|s\le s^{\prime })\\ & =\sum _{s^{\prime }\ge s}R(s^{\prime })P(s^{\prime }\to s_f|s\le s^{\prime })\\ & =\sum _{s^{\prime }\ge s}R(s^{\prime })\frac{F(s^{\prime }\to s_f)}{F(s)}\\ & =\sum _{s^{\prime }\ge s}R(s^{\prime })\frac{R(s^{\prime })}{{\sum }_{s^{\prime }\ge s}R(s^{\prime })}\\ & =\frac{{\sum }_{s^{\prime }\ge s}R(s^{\prime }{)}^2}{{\sum }_{s^{\prime }\ge s}R(s^{\prime })}\end{array}$$

Prop 27. 策略 $\pi$ 的终止状态分布为 $P_{\pi }$ ， $\pi$ 为贪婪策略，有
$$\begin{gathered} \bar{\pi }(a|s)=0unless \\ {V}_{P_{\pi }}((s,a))\ge V_{P_{\pi }}((s,a^{\prime }))\forall a^{\prime } \end{gathered}$$

那么，对于所有的 $s$
$$V_{P_{\bar{\pi }}}(s)\ge V_{P_{\pi }}(s)$$