W
i
l
x
i
l
b
i
l
)
x^{l+1}_k = σ (W^l_i x^l_i + b^l_i)
xkl+1=σ(Wilxil+bil)作为下一层的输入。在卷积层之后，加入池化层来降低特征映射的维数，从而减少参数的数量。平均池化和最大池化是两种常见的池化操作。对其余层重复上述过程。在网络的末端，通常使用全连接层通过
s
i
g
m
o
i
d
sigmoid
sigmoid或
s
o
f
t
m
a
x
softmax
softmax函数生成类的概率分布。预测的概率分布给出了每个输入实例的标签
y
´
y´
y´，因此可以计算损失函数
L
(
y
´
,
y
)
L(y´,y)
L(y´,y)，其中
y
y
y 为实际标签。通过最小化损失函数对网络参数进行迭代优化。
2.2 无监督学习
2.2.1 自编码器 (Autoencoders)
自编码器广泛应用于降维和特征学习(Hinton and Salakhutdinov, 2006)。最简单的自编码器，最初被称为
a
u
t
o
−
a
s
s
o
c
i
a
t
o
r
auto-associator
auto−associator (Bourlard and Kamp, 1988)，是一种只有一个隐藏层的神经网络，它通过最小化输入与其从潜在表示重建之间的重建损失来学习输入数据的潜在特征表示。简单自编码器的浅层结构限制了其表示能力，而具有更多隐藏层的深层自编码器可以提高其表示能力。通过堆叠多个自编码器并以贪婪的分层方式优化它们，深度自编码器或堆叠自编码器(
S
A
E
SAE
SAE)可以比浅层自编码器学习更复杂的非线性模式，从而更好地概括外部训练数据(Bengio等，2007)。
S
A
E
SAE
SAE由一个编码器网络和一个解码器网络组成，它们通常是对称的。为了进一步迫使模型学习具有理想特征的有用潜在表示，可以将稀疏自编码器(Ranzato等人，2007)中的稀疏性约束等正则化项添加到原始重建损失中。其他正则化自编码器包括去噪自编码器(Vincent et al .， 2010)和收缩自编码器(Rifai et al .， 2011)，两者都被设计为对输入扰动不敏感。
自编码器是一种输入等于输出的模型，全连接神经网络组成最简单的自编码器只有三层结构，中间的隐藏层才是我们需要关注的地方，以隐藏层为界限，左边是编码器，右边是解码器，所以在训练过程中，输入才能在经过编码后再解码还原成原来的模样，原始数据和输出数据的误差称为 重构误差。
假如我们通过一组数据训练出了我们的自编码器，然后我们拆掉了自编码器的解码器，既可以利用剩下的编码器来表征我们的数据了，隐藏层的神经元的数目远低于输入层，那么就相当于我们用更少的特征（神经元）去表征我们的输入数据，从而达到 降维 的功能
- 稀疏自编码器：即普通的自编码器的隐藏层加一个
L
1
L1
L1正则项，也就是一个训练惩罚项，这样我们训练出的编码器表征的特征就更加稀疏，从而能得到很少且有用的特征项
- 降噪编码器：就是输入换成了加噪的数据集，输出用原来的数据集去训练的自编码器，目的是习得降噪功能
与上述经典的
a
u
t
o
e
n
c
o
d
e
r
s
autoencoders
autoencoders不同，变分
a
u
t
o
e
n
c
o
d
e
r
autoencoder
autoencoder (
V
A
E
VAE
VAE) (Kingma威林,2014)在概率性的工作方式学习观测数据之间的映射空间
x
∈
R
m
x∈R^m
x∈Rm 和潜在的空间
z
∈
R
n
(
m
n
)
z∈R^n(m>>n)
z∈Rn(m>>n)。作为一个潜变量模型，
V
A
E
VAE
VAE制定这个问题作为观察样品的最大化对数似
l
o
g
p
(
x
)
=
l
o
g
∫
p
(
x
∣
z
)
p
(
z
)
d
z
log p(x) =log ∫p (x | z) p (z) dz
logp(x)=log∫p(x∣z)p(z)dz，
p
(
x
∣
z
)
p (x | z)
p(x∣z)可以很容易地使用神经网络建模，和
p
(
z
)
p (z)
p(z)是一个先验分布(如高斯)的潜在空间。然而，积分是难以处理的，因为它不可能对整个潜在空间进行采样。因此，根据贝叶斯规则，后验分布
p
(
z
∣
x
)
p(z|x)
p(z∣x)也变得难以处理。为了解决这个棘手的问题，
V
A
E
VAE
VAE 的作者提出，除了使用解码器建模
p
(
x
∣
z
)
p (x | z)
p(x∣z) 外，编码器还学习近似未知后验分布的
q
(
z
∣
x
)
q(z|x)
q(z∣x)。最终，对于
l
o
g
p
(
x
)
log p (x)
logp(x)可以导出一个可处理的下界，也称为证据下界(EBLO)。
l
o
g
p
(
x
)
≥
E
L
B
O
=
E
q
(
z
∣
x
)
[
l
o
g
p
(
x
∣
z
)
]
−
K
L
[
q
(
z
∣
x
)
∣
∣
p
(
z
)
]
log p(x)≥ELBO = E_{q(z|x)}[log p(x|z)]−KL[q(z|x)||p(z)]
logp(x)≥ELBO=Eq(z∣x)[logp(x∣z)]−KL[q(z∣x)∣∣p(z)]，其中
K
L
KL
KL代表
K
u
l
l
b
a
c
k
−
L
e
i
b
l
e
r
Kullback-Leibler
Kullback−Leibler散度。第一项可以理解为重建损失，测量输入图像与从潜在表示重建的对应图像之间的相似性。第二项计算近似后验和高斯先验之间的散度(表1-4)。
后来提出了不同的
V
A
E
VAE
VAE 扩展来学习更复杂的表示。尽管概率工作机制允许其解码器生成新数据，但
V
A
E
VAE
VAE 无法具体控制数据生成过程。Sohn等人(2015)提出了所谓的条件
V
A
E
VAE
VAE (
C
V
A
E
CVAE
CVAE )，其中编码器和解码器学习的概率分布都是使用外部信息(例如图像类)条件化的。这使得
V
A
E
VAE
VAE能够生成结构化的输出表示。另一项研究探索在潜在空间中施加更复杂的先验。例如，Dilokthanakul等人(2016)提出了高斯混合
V
A
E
VAE
VAE (
G
M
V
A
E
GMVAE
GMVAE)，该方法使用了先前的高斯混合，从而在潜在空间中获得更高的建模容量。我们建议读者参考最近的一篇论文(Kingma和Welling, 2019)，以了解
V
A
E
VAE
VAE及其扩展的更多细节。
2.2.2 生成对抗网络(GANs)
生成对抗网络(GANs)是一类用于生成建模的深度网络，由Goodfellow等人(2014年)首次提出。对于这个架构，一个估计生成模型的框架被设计成直接从所需的底层数据分布中提取样本，而不需要显式地定义概率分布。它由两个模型组成:生成器
G
G
G和鉴别器
D
D
D。生成模型
G
G
G将从先验分布
P
z
(
z
)
P_z (z)
Pz(z)中采样的随机噪声向量
z
z
z作为输入，通常是高斯分布或均匀分布，然后将
z
z
z映射到数据空间为
G
(
z
,
θ
g
)
G(z, θ_g)
G(z,θg)，其中
G
G
G是参数为
θ
g
θ_g
θg的神经网络。表示为
G
(
z
)
G(z)
G(z)或
x
g
x_g
xg的假样本与训练数据
P
r
(
x
)
Pr(x)
Pr(x)中的真实样本相似，这两种类型的样本被发送到
D
D
D中。鉴别器是第二个参数化为
θ
d
θ_d
θd的神经网络，它输出一个样本来自训练数据而不是
G
G
G的概率
D
(
x
,
θ
d
)
D(x,θ_d)
D(x,θd)。训练过程就像玩一个极大极小的双人游戏。对判别网络
D
D
D进行优化，以最大限度地提高给假样本和真实样本分配正确标签的对数似然，对生成模型
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
)
P_z (z)
Pz(z)中采样的随机噪声向量
z
z
z作为输入，通常是高斯分布或均匀分布，然后将
z
z
z映射到数据空间为
G
(
z
,
θ
g
)
G(z, θ_g)
G(z,θg)，其中
G
G
G是参数为
θ
g
θ_g
θg的神经网络。表示为
G
(
z
)
G(z)
G(z)或
x
g
x_g
xg的假样本与训练数据
P
r
(
x
)
Pr(x)
Pr(x)中的真实样本相似，这两种类型的样本被发送到
D
D
D中。鉴别器是第二个参数化为
θ
d
θ_d
θd的神经网络，它输出一个样本来自训练数据而不是
G
G
G的概率
D
(
x
,
θ
d
)
D(x,θ_d)
D(x,θd)。训练过程就像玩一个极大极小的双人游戏。对判别网络
D
D
D进行优化，以最大限度地提高给假样本和真实样本分配正确标签的对数似然，对生成模型
[外链图片转存中…(img-26UJar7w-1714414408182)]
[外链图片转存中…(img-JCZXy2wH-1714414408183)]
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
扫一扫
125
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
