【Deep Learning】深度学习中的函数类型

神经网络包含四类函数：组合函数（Combination Function）、激活函数（Activation Function）、误差函数（Error Function）、目标函数（Object Function）。

1、组合函数

在神经网络中，输入层之后的网络，每个神经元的功能是将上一层产生的向量通过自身的函数生成一个标量值，这个标量值就是下一层神经元的网络输入变量。组合函数是网络中间将向量映射为标量的函数，即∑。

常见的组合函数包括线性组合函数和基于欧氏空间距离的函数。

2、激活函数

神经元将一维向量的网络输入变量通过一个函数映射为另外一个一维向量的数值，这个函数称为激活函数，其产生的值称为激活状态。除输出层外，激活状态的值通过神经网络的链接输入到下一层的一个或者多个神经元里面。

激活函数将一个实数域上的值映射到一个有限域中，也称为坍缩函数，如常见的tanh或logistic函数，都将无限的实数域上的数值压缩到(-1,1)或(0,1）之间的有限域中。如果这个激活函数不做任何变换，则被成为Identity或者线性激活函数。

激活函数的主要作用是为隐含层引入非线性。一个只有线性关系隐含层的多层神经网络不会比一般的只包含输入层和输出层的两层神经网络更强大，因为线性函数的函数仍然是一个线性函数。但是加入非线性之后，多层神经网络的预测能力就得到显著提高。

对于后向传播算法，激活函数必须可微，而且