最近在看概率模型,看到这三种模型的时候老是分不开谁是谁,在此做个总结加强记忆。
Probabilistic decoder
Probabilistic decoder
是通过
coding theory
对
likelihood
(
p(xn|zn)
p
(
x
n
|
z
n
)
)进行重新解释。
p(xn|zn)
p
(
x
n
|
z
n
)
是一个条件概率分布,条件
zn
z
n
被解释成
xn
x
n
的隐含表示。称作
Probabilistic decoder
的原因是,给定
zn
z
n
,解码出来的
xn
x
n
也是随机的。
对于实数来说:
NN(zn;θ) N N ( z n ; θ ) 是一个神经网络,输入是 zn z n , 参数是 θ θ 。
Probabilistic decoder
使用神经网络的输出作为
p(xn)
p
(
x
n
)
的参数。
NOTE: The neural network which parameterizes the probabilistic decoder is also known as a generative network
如何 inference
Probabilistic decoder
?
1. variational inference
2. MAP
3. ML
Bayesian neural network
是一个概率模型,Bayesian neural network
是一个参数带先验分布的神经网络。即:参数是分布的神经网络。
如何 inference bayesian neural network?
1. variational inference
2. …
Probabilistic encoder
最后一个.
probabilistic encoder
又叫 inference network
,也叫 recognition model
。
Probabilistic decoder
是概率模型,而 probabilistic encoder
是一个变分推断模型,使用神经网络的输出作为
q(zi|βi=NN(W,xi))
q
(
z
i
|
β
i
=
N
N
(
W
,
x
i
)
)
分布的参数,W 是神经网络的参数。
这个和上面那个图不一样的地方是,上面那个图
W
是随机变量, 而这个图的 W
是模型参数