深度学习不得不知的英文名称

DL：深度学习（deep learning），整体上是一个layer-wise的训练机制

BP：反向传播算法（back propagation），采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法），缺点：对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）

GD：梯度扩散（gradient diffusion），个人理解没有办法找到极小值，只会出现局部极小值

SL：浅层学习（Shallow Learning）

SC：稀疏连接（Sparse Connectivity）

SW：权值共享（Shared Weights）

Sigmoid：激活函数，影响函数核比较小

receptive field： 感受野

stride：步幅

loss function：损失函数

cross entropy：交叉熵

zero-padding：补0的数量

bias：偏置

activation function：激活函数

from back propagation: 前向传播

Cross Entroy：交叉熵，主要用于度量两个概率分布间的差异性信息，语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量，交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码

SDAE：Stacked Denoising Autoencoders，迭代降噪自编码器，目前主要用于数字识别，降噪效果比较好

pool：池化，特征矩阵的边长=（input_n - 卷积滤波器_n）/步长 + 1

梯度下降法：梯度方向表示函数增长速度最快的方向，那么他的相反方向就是函数减少速度最快的方向。对于机器学习模型优化的问题，当我们需要求解最小值的时候，朝着梯度下降的方向走，就能找到最优值。

隐含层：其实就是CNN卷积中除了开始input层和output层之外的中间层

全联通网络 Full Connected Networks

稀疏编码 Sparse Autoencoder

前向输送 Feedforward

反向传播 Backpropagation

部分联通网络 Locally Connected Networks

连接区域 Contiguous Groups

视觉皮层 Visual Cortex

卷积 Convolution

固有特征 Stationary

池化 Pool