深度学习中的一些术语和概念

全连接的前馈神经网络

CNN(Convolutional Neural Network)——卷积神经网络，通常用于图像数据

RNN(Recurrent Neural Network)——循环神经网络递归神经网络，通常用于序列数据

结构化数据——通常指的是行列表格状的数据

非结构化数据——是指比如音频、图像或文本等数据内容。这里的原始特征可能是图像中的像素值或文本中的单个单词。

二分类——就是输出y只有 {0,1} 两个离散值(也有 {-1,1} 的情况

逻辑回归——是最常见的二分类算法

损失函数(loss function)——用于量化衡量预测结果与真实值之间的差距，我们会通过优化损失函数来不断调整模型权重，使其最好地拟合样本数据。

梯度下降(Gradient Descent)算法——在数学上，1个函数的梯度(gradient)指出了它的最陡增长方向。也就是说，沿着梯度的方向走，函数增长得就最快。那么沿着梯度的负方向走，函数值就下降得最快。

前向传播(Forward Propagation)

反向传播(Back Propagation)

向量化(Vectorization)

单隐层神经网络 (a single hidden layer neural network) ——就是典型的浅层 (shallow) 神经网络，结构上，从左到右，可以分成三层：

输入层 (input layer) ：竖向堆叠起来的输入特征向量。

隐藏层 (hidden layer) ：抽象的非线性的中间层。

输出层 (output layer) ：输出预测值。

激活函数

tanh 函数——the hyperbolic tangent function，双曲正切函数

ReLU函数——the rectified linear unit，修正线性单元

Leaky ReLU——带泄漏的ReLU

深层神经网络——其实就是包含更多隐层的神经网络

神经网络中的参数——就是我们熟悉的w和b。

神经网络的超参数——是例如学习率a，训练迭代次数N，神经网络层数L，各层神经元个数n，激活函数g等。之所以叫做超参数，是因为它们需要提前敲定，而且它们会决定参数w和b的值。

训练集 (Training Sets) ——用训练集对算法或模型进行训练过程。

验证集 ( (Development Sets)——利用验证集 (又称为简单交叉验证集，hold-out cross validation set) 进行交叉验证，选择出最好的模型。

测试集 (Test Sets)——最后利用测试集对模型进行测试，获取模型运行的无偏估计 (对学习方法进行评估) 。

偏差 (Bias) ——度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。

方差 (Variance) ——度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

噪声 (noise)——表达了在当前任务上任何学习算法所能够达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

训练集的错误率较小，而验证集的错误率却较大，说明模型存在较大方差 (Variance) ，可能出现了过拟合。

训练集和验证集的错误率都较大，且两者相当，说明模型存在较大偏差 (Bias) ，可能出现了欠拟合。

训练集错误率较大，且验证集的错误率远较训练集大，说明方差和偏差都较大，模型很差。

训练集和验证集的错误率都较小，且两者的相差也较小，说明方差和偏差都较小，这个模型效果比较好。

欠拟合

刚好拟合

过拟合

Dropout (随机失活) ——它是指在神经网络的隐藏层为每个神经元结点设置一个随机关闭的概率，保留下来的神经元形成一个结点较少、规模较小的网络用于训练。

反向随机失活 (Inverted Dropout)

数据扩增 (Data Augmentation) ——是深度学习中常见和有效的技巧，特别的，在计算机视觉领域，它指的通过图片的一些变换 (翻转，局部放大后切割等) ，得到更多的训练集和验证集。

梯度爆炸

梯度消失

单边误差法

双边误差法