介绍深度学习的组成

深度学习可以分成5个部分：
1、连接模式
连接模式包括全连接、卷积、池化、残差，甚至inception。这些结构的相互连接组成了神经网络的框架。
2、非线性模块
正是因为神经网络具有非线性模块，多层神经网络在理论上是可以无限逼近任意的函数。如果没有非线性模块，即使再多的层结构堆叠，最后的作用也仅仅是相当于一个感知机。
常见的非线性模块有 tanh，sigmoid，ReLU，根据ReLU衍生出来的pReLU 等等。
ReLU是目前应用最为广泛的非线性激活函数。
缺点：*********
优点：*********
3、优化器
优化器是指在训练过程中，调整神经网络每层的参数，使得最后的输出结果最好，并优化调整参数的时间，也就是训练时间。常见的优化器有SGD（随机梯度下降），momentum等等。
4、损失函数
衡量优化器最后输出结果的好坏程度。优化器每次将一批训练样本迭代计算之后，会计算出一个结果，拿这个结果和实际标签的真实值进行对比，这两者之间一定会有差别，这个差值就是loss值。然后优化器将损失值再反向的传播回来，反向经过的每一层，再去调整每一层的参数，使得下次loss值降低。
计算loss值的方法也会直接影响到网络的性能，常见的有交叉熵损失，均方差损失。
对于细粒度分类中，例如人脸识别应用中的损失函数有：TripletLoss，Center Loss，A-softMax Loss，AM Loss。