深度学习中的函数类型

1，组合函数

    在输入层之后的网络里，每个神经元的功能都是将上层产生的向量通过自身的函数生成一个标量值，这个标量值就称为下一层神经元的网络输入变量，这种在网络中间将向量映射为标量的函数就被称为组合函数。

2，激活函数

    大多数神经元都将一维向量的网络输入变量对一个函数映射为另外一个一维向量的数值，这个函数称为激活函数。激活函数的主要作用是为隐含层引入非线性。多个线性函数的函数仍然为一个线性函数，但加入非线性之后，多层神经网络的预测能力就得到了显著提高。对于后向传播算法，激活函数必须可微。

3，误差函数

  简单来讲就是实际值和真实值之间的偏差。

4，目标函数

目标函数是需要在训练阶段直接最小化的那个函数。神经网络的训练表现为在最小化训练集上估计值和真实值之间的误差。