系列文章
GFlowNet Foundation 笔记(一)
GFlowNet Foundation 笔记(二)
GFlowNet Foundation 笔记(三)
确定环境和随机环境中的策略
Def 34. 策略( policy ) π : A × S ↦ R \pi: \mathcal{A} \times \mathcal{S} \mapsto \R π:A×S↦R 为概率分布 π ( a ∣ s ) \pi (a | s) π(a∣s) 。其中,行动 a ∈ A a \in \mathcal{A} a∈A ,定义 A ( s ) \mathcal{A}(s) A(s) 为状态 s s s 的有效行动。
Def 35. 偶状态( even states ) 的形式为
s
∈
S
s \in \mathcal{S}
s∈S ,奇状态( odd states ) 的形式为
(
s
,
a
)
∈
S
×
A
(s, a) \in \mathcal{S} \times \mathcal{A}
(s,a)∈S×A ,环境( environment )
P
(
s
t
→
s
t
+
1
∣
s
t
,
a
t
)
P(s_t \rightarrow s_{t+1} | s_t, a_t)
P(st→st+1∣st,at) 控制从奇状态到下一个偶状态的转移。
偶到偶的转移表示为
P
F
(
s
t
+
1
∣
s
t
)
=
∑
a
t
P
(
s
t
→
s
t
+
1
,
a
t
∣
s
t
)
=
∑
a
t
P
(
s
t
→
s
t
+
1
∣
s
t
,
a
t
)
π
(
a
t
∣
s
t
)
\begin{aligned} P_F(s_{t+1} | s_t) &= \sum_{a_t} P(s_t \rightarrow s_{t+1}, a_t | s_t) \\ &= \sum_{a_t} P(s_t \rightarrow s_{t+1} | s_t, a_t) \pi (a_t | s_t) \\ \end{aligned}
PF(st+1∣st)=at∑P(st→st+1,at∣st)=at∑P(st→st+1∣st,at)π(at∣st)
对于后向转移,奇到偶转移为
P
B
(
s
t
∣
(
s
t
,
a
t
)
)
=
1
P_B(s_t | (s_t, a_t)) = 1
PB(st∣(st,at))=1
已知的确定环境
Prop 23. 对于一个确定的转移函数
T
:
S
×
A
↦
S
T: \mathcal{S} \times \mathcal{A} \mapsto \mathcal{S}
T:S×A↦S 有
s
t
+
1
=
T
(
s
t
,
a
t
)
s_{t+1} = T(s_t, a_t)
st+1=T(st,at) ,前向转移概率为
P
F
(
s
t
+
1
∣
s
t
)
=
∑
a
:
T
(
s
t
,
a
)
=
s
t
+
1
π
(
a
∣
s
t
)
P_F(s_{t+1} | s_t) = \sum_{a: T(s_t, a) = s_{t+1}} \pi (a | s_t)
PF(st+1∣st)=a:T(st,a)=st+1∑π(a∣st)
当 T ( s t , a t ) = s t + 1 T(s_t, a_t) = s_{t+1} T(st,at)=st+1 时, P ( s t → s t + 1 ∣ s t , a t ) = 1 P(s_t \rightarrow s_{t+1} | s_t, a_t) = 1 P(st→st+1∣st,at)=1 。
Prop 24. 后向转移概率可用后向策略
π
B
\pi_B
πB 表示
P
B
(
s
t
∣
s
t
+
1
)
=
∑
a
:
T
(
s
t
,
a
)
=
s
t
+
1
π
B
(
a
∣
s
t
+
1
)
P_B(s_t | s_{t+1}) = \sum_{a: T(s_t, a) = s_{t+1}} \pi_B(a | s_{t+1})
PB(st∣st+1)=a:T(st,a)=st+1∑πB(a∣st+1)
自由选择后向转移
Def 36. 如果仅受以下约束而不受其他约束,则可以自由选择后向转移概率 P B P_B PB :
- P B ( s ∣ s f ) = R ( s ) Z P_B(s | s_f) = \frac{R(s)}{Z} PB(s∣sf)=ZR(s)
- 如果 s → s ′ ∉ A s \rightarrow s' \notin \mathcal{A} s→s′∈/A ,则 P B ( s ∣ s ′ ) = 0 P_B(s | s') = 0 PB(s∣s′)=0
未知的确定环境
我们还需学习逆转移函数 T − 1 : S × A ↦ S T^{-1} : \mathcal{S} \times \mathcal{A} \mapsto \mathcal{S} T−1:S×A↦S 有 T − 1 ( T ( s , a ) , a ) = s T^{-1}(T(s, a), a) = s T−1(T(s,a),a)=s 。
随机环境
Prop 25. 在随机环境下可能不会完美的实现
F
^
(
s
→
s
f
)
=
R
(
s
)
\hat{F}(s \rightarrow s_f) = R(s)
F^(s→sf)=R(s) 。
proof. 如下图所示,当
R
(
s
′
′
′
)
>
0
,
P
(
s
′
′
′
∣
s
′
′
,
a
′
′
)
=
0
,
P
(
s
′
′
′
∣
s
′
,
a
′
)
=
0
R(s''') > 0, P(s''' | s'', a'') = 0, P(s''' | s', a') = 0
R(s′′′)>0,P(s′′′∣s′′,a′′)=0,P(s′′′∣s′,a′)=0 时,无论怎样选择策略,都有
F
^
(
s
→
s
f
)
≠
R
(
s
)
\hat{F}(s \rightarrow s_f) \ne R(s)
F^(s→sf)=R(s)