神经网络入门若干专业名词(待完善)

几个有用的链接，适合新手：
计算卷积后的特征图尺寸
损失函数
损失函数2
激活函数

上采样：
在做图像分割的时候，需要对图像进行像素级别的分类，因此在卷积提取到抽象特征后需要通过上采样将feature map还原到原图大小。常见的上采样方法有双线性插值、转置卷积、上采样（unsampling）和上池化（unpooling）。

feature map：
在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map。在输入层，如果是灰度图片，那就只有一个feature map；如果是彩色图片，一般就是3个feature map（红绿蓝）。层与层之间会有若干个卷积核（kernel），上一层和每个feature map跟每个卷积核做卷积，都会产生下一层的一个feature map。

池化层：
卷积网络经常使用池化层来缩减模型的大小（降维），提高计算速度，同时提高所提取特征的鲁棒性，防止过拟合的发生。常见方法：最大池化、平均池化。
最大池化示意图：

归一化、标准化和正则化
归一化（Normalization）
1.把数据变为（0，1）之间的小数。主要是为了方便数据处理，因为将数据映射到0～1范围之内，可以使处理过程更加便捷、快速。
2.把有量纲表达式变换为无量纲表达式，成为纯量。经过归一化处理的数据，处于同一数量级，可以消除指标之间的量纲和量纲单位的影响，提高不同数据指标之间的可比性。

标准化将数据按比例缩放，使之落入一个小的特定区间，是为了方便数据的下一步处理，而进行的数据缩放等变换，并不是为了方便与其他数据一同处理或比较，比如数据经过零-均值标准化后，更利于使用标准正态分布的性质，进行处理。

正则化而是利用先验知识，在处理过程中引入正则化因子(regulator)，用一组与原不适定问题相“邻近”的适定问题的解，去逼近原问题的解，增加引导约束的作用，比如在逻辑回归中使用正则化，可有效降低过拟合的现象。

跳跃连接（skip）的目的
非常深的神经网络是很难训练的，因为存在梯度消失和梯度爆炸问题。跳跃连接可以从某一层网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层。正如残差网络的设计初衷，跳跃连接可以解决网络层数较深的情况下梯度消失的问题，同时有助于梯度的反向传播，加快训练过程。
Resnet50 及调成链接的目的

softmax函数
softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。

激活函数
如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了，那么网络的逼近能力就相当有限。正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络表达能力就更加强大。

L1和平均绝对误差meanabsolute error(MAE)
MAE表示了预测值与目标值之间差值的绝对值然后求平均

L1表示了预测值与目标值之间差值的绝对值，L1也叫做曼哈顿距离

均方误差mean squareerror（MSE）和L2范数:

L2损失表示了预测值与目标值之间差值的平方和然后开更方，L2表示的是欧几里得距离。