文章探讨了在处理高维随机向量X时，如何利用带有参数θ的模型pθ(X)进行建模。通过对独立同分布的数据集D进行分析，目标是最小化log似然函数。文章提到了基于流的生成模型，其中潜在变量z遵循简单的概率分布，如球形高斯，而数据x通过可逆函数gθ(z)与z关联。这种可逆变换序列，即(正则化)流，用于描述x和z之间的关系。
设
X
X
X是一个真实但分布未知的高维随机向量，记为
X
∼
p
∗
(
X
)
X\sim p^∗(X)
X∼p∗(X)。我们收集了独立同分布的数据集
D
D
D，我们选择带有参数
θ
θ
θ的模型
p
θ
(
X
)
p_θ (X)
pθ(X)，假设数据
X
X
X是离散的，则log-likehood（log似然）的目的等效于最小化下面的公示：
L
(
D
)
=
1
N
∑
i
=
1
N
(
−
l
o
g
p
θ
(
X
(
i
)
)
)
L(D)=\frac{1}{N}\sum_{i=1}^{N}(-logp_\theta(X^{(i)}))
L(D)=N1i=1∑N(−logpθ(X(i)))
大多数的基于流的生成模型，其过程可以定义为：
z
∼
p
θ
(
z
)
z\sim p_θ(z)
z∼pθ(z)
x
=
g
θ
(
z
)
x=g_θ (z)
x=gθ(z)
z
z
z是潜在变量，
p
θ
(
z
)
p_θ (z)
pθ(z)是一个简单的概率密度，比如球形高斯：
p
θ
(
z
)
=
N
(
z
;
0
,
I
)
p_θ (z)=N(z;0,I)
pθ(z)=N(z;0,I)
函数 g θ g_θ gθ是可逆的，也叫双射，给一个数据 x x x，潜变量可以通过 z = f θ ( x ) = g θ − 1 ( x ) z=f_θ (x)=g_θ^{−1} (x) z=fθ(x)=gθ−1(x)
为了简便，下面我们将省略下标 θ θ θ
我们假设函数
f
f
f由一系列的转换组成：
f
=
f
1
∘
f
2
∘
⋅
⋅
⋅
∘
f
n
f=f_1 \circ f_2 \circ ··· \circ f_n
f=f1∘f2∘⋅⋅⋅∘fn，如此
x
x
x和
z
z
z的关系可以描述为：
这样一个可逆变换的序列也可以被称为(正则化)流，
扫一扫
3311
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
