Duckie的博客

原创 受限玻尔兹曼机

1. RBM模型结构　　　　玻尔兹曼机是一大类的神经网络模型，但是在实际应用中使用最多的则是RBM。RBM本身模型很简单，只是一个两层的神经网络，因此严格意义上不能算深度学习的范畴。不过深度玻尔兹曼机（Deep Boltzmann Machine，以下简称DBM）可以看做是RBM的推广。理解了RBM再去研究DBM就不难了，因此本文主要关注于RBM。　　　　回到RBM的结构，它是一个

原创 变分自编码器（Variational Autoencoder, VAE）

1. 神秘变量与数据集现在有一个数据集DX(dataset, 也可以叫datapoints)，每个数据也称为数据点。我们假定这个样本受某种神秘力量操控，但是我们也无从知道这些神秘力量是什么？那么我们假定这股神秘力量有n个，起名字叫power1,power2,…,powern吧，他们的大小分别是z1,z2,…,zn，称之为神秘变量表示成一个向量就是z=⎛⎝⎜⎜⎜⎜z1z2⋮zn⎞⎠⎟

原创 自动编码器—Autoencoder

自动编码器Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就

原创 深度学习常用的优化算法

原创 深度学习—随机梯度下降（SGD）

原创 深度学习正则化之dropout