深度神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）（神经网络的基础知识）

深度神经网络（DNN）

最初，我们常常使用sigmoid作为神经网络神经元的输入输出函数。那时，我们把神经网络称作“多层感知机”。对于幅度为1的信号，在多层的神经元之间传播时，每传递一层，梯度衰减为原来的0.25。层数一多，梯度指数衰减，低层基本上接受不到有效的训练信号。
为了克服梯度消失，ReLU、maxout等传输函数代替了sigmoid，形成了如今深度神经网络（DNN）的基本形式。
高速公路网络（highway network）和深度残差学习（deep residual learning）更是能大大地减缓梯度减小，使得网络层数达到了前所未有的一百多层，使用深度残差学习可达到152层。
全连接DNN的结构里下层神经元和所有上层神经元都能够形成连接，带来的潜在问题是参数数量的膨胀。
假设输入的是一幅像素为1K*1K的图像，隐含层某层有1M个节点，光这一层就有$10^{12}$（$10^6*10^6$）个参数数量。

卷积神经网络（CNN）

CNN通过“卷积核”实现减小输入层到隐含层的参数数量，在同一个卷积核在所有图像内是共享的，图像通过卷积操作后仍然保留原先的位置关系。假设卷积核大小为100*100，共使用100个卷积核$W_1$到$W_{100}$，用$W_1$在图像上进行卷积操作，可以得到隐含层的第一幅图像，它是四幅输入图像左上角100*100区域内像素的加权求和，CNN模型限制了参数个数并能挖掘局部结构。

循环神经网络（RNN）

样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要，RNN可以考虑到样品出现的时间顺序。

参考链接-知乎