GFlowNet Foundation 笔记（四）

系列文章
GFlowNet Foundation 笔记（一）
GFlowNet Foundation 笔记（二）
GFlowNet Foundation 笔记（三）

确定环境和随机环境中的策略

Def 34. 策略( policy ) $\pi :\mathcal{A}\times \mathcal{S}\mapsto \mathbb{R}$ 为概率分布 $\pi (a|s)$ 。其中，行动 $a\in \mathcal{A}$ ，定义 $\mathcal{A}(s)$ 为状态 $s$ 的有效行动。

Def 35. 偶状态( even states ) 的形式为 $s\in \mathcal{S}$ ，奇状态( odd states ) 的形式为 $(s,a)\in \mathcal{S}\times \mathcal{A}$ ，环境( environment ) $P(s_t\to s_{t+1}|s_t,a_t)$ 控制从奇状态到下一个偶状态的转移。
偶到偶的转移表示为
$$\begin{array}{rl}{P}_F(s_{t+1}|s_t)& =\sum _{a_t}P(s_t\to s_{t+1},a_t|s_t)\\ & =\sum _{a_t}P(s_t\to s_{t+1}|s_t,a_t)\pi (a_t|s_t)\end{array}$$

对于后向转移，奇到偶转移为
$$P_B(s_t|(s_t,a_t))=1$$

已知的确定环境

Prop 23. 对于一个确定的转移函数 $T:\mathcal{S}\times \mathcal{A}\mapsto \mathcal{S}$ 有 $s_{t+1}=T(s_t,a_t)$ ，前向转移概率为
$$P_F(s_{t+1}|s_t)=\sum _{a:T(s_t,a)=s_{t+1}}\pi (a|s_t)$$

当 $T(s_t,a_t)=s_{t+1}$ 时, $P(s_t\to s_{t+1}|s_t,a_t)=1$ 。

Prop 24. 后向转移概率可用后向策略 ${\pi }_B$ 表示
$$P_B(s_t|s_{t+1})=\sum _{a:T(s_t,a)=s_{t+1}}{\pi }_B(a|s_{t+1})$$

自由选择后向转移

Def 36. 如果仅受以下约束而不受其他约束，则可以自由选择后向转移概率 $P_B$ ：

1. $P_B(s|s_f)=\frac{R(s)}{Z}$
2. 如果 $s\to s^{\prime }\notin \mathcal{A}$ ，则 $P_B(s|s^{\prime })=0$

未知的确定环境

我们还需学习逆转移函数 $T^{-1}:\mathcal{S}\times \mathcal{A}\mapsto \mathcal{S}$ 有 $T^{-1}(T(s,a),a)=s$ 。

随机环境

Prop 25. 在随机环境下可能不会完美的实现 $\hat{F}(s\to s_f)=R(s)$ 。
proof. 如下图所示，当 $R(s^{\prime \prime \prime })>0,P(s^{\prime \prime \prime }|s^{\prime \prime },a^{\prime \prime })=0，P(s^{\prime \prime \prime }|s^{\prime },a^{\prime })=0$ 时，无论怎样选择策略，都有 $\hat{F}(s\to s_f)\ne R(s)$