深度学习

深度学习原理与实践(开源图书)-总目录

深度学习的基本思想：假设有系统S，它有n层（S1，…，Sn），输入为I，输出为O，可形象的表示为：I=>S1=>S2=>… =>Sn=>O。为了使输出O尽可能的接近输入I，可以通过调整系统中的参数，这样就可以得到输入I的一系列层次特征S1，S2，…,Sn。对于堆叠的多个层，其中一层的输出作为其下一层的输入，以实现对输入数据的分级表达，这就是深度学习的基本思想。

---

深度学习通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，自动地学习得到层次化的特征表示，从而更有利于分类或特征的可视化。

深度学习理论的另外一个理论动机是：如果一个函数可用k层结构以简洁的形式表达，那么用k-1层的结构表达则可能需要指数级数量的参数(相对于输入信号)，且泛化能力不足。

深度学习算法打破了传统神经网络对层数的限制，可根据设计者需要选择网络层数。它的训练方法与传统的神经网络相比有很大区别，传统神经网络随机设定参数初始值，采用BP算法利用梯度下降算法训练网络，直至收敛。但深度结构训练很困难，传统对浅层有效的方法对于深度结构并无太大作用，随机初始化权值极易使目标函数收敛到局部极小值，且由于层数较多，残差向前传播会丢失严重，导致梯度扩散，因此深度学习过程中采用贪婪无监督逐层训练方法。即在一个深度学习设计中，每层被分开对待并以一种贪婪方式进行训练，当前一层训练完后，新的一层将前一层的输出作为输入并编码以用于训练；最后每层参数训练完后，在整个网络中利用有监督学习进行参数微调。

---

深度学习常用术语：

前向传播：从输入层到输出层
反向传递：从输出层到输入层
Epoch: 指定了神经网络观察整个训练数据的次数。因此，可以认为一个epoch 等于对于所有训练样本的一次前向传递和一次反向传递
批大小：在一次前向传递和一次反向传递中所用的训练样本数
迭代次数：迭代次数是指传递的次数，一次传递=一次前向传递+一次反向传递

假设有12000个训练样本,且批大小为6000，这需要两次迭代来完成一次 Epoch。也就是说,在第一次迭代中,传递了前6000样本,并执行了一次前向传递和一次反向传递。经过两次迭代后,神经网络才能观察到所有12000个训练样本,这才是一次 Epoch