深度学习与图像识别：神经网络基础

1.激活函数

当出现线性不可分时，需要在隐藏层之间添加激活函数

1.1 Sigmoid函数

1.2 Tanh函数

公式如下：

输出区间在[-1,1]以0为中心，类似于sigmoid，但也与sigmoid一样在权重很小时，不利于权重的更新。

1.3 ReLU函数

大于0的数将直接输出，小于0的数为0；

优点在于方便运算

1.4 Softmax函数

将输入值指数化并其归一化，因为有时数值太大，防止其超过上限所以减去一个最大值D

1）分子：通过指数函数，将实数输出映射到零到正无穷。

2）分母：将所有结果相加，进行归一化。

2.损失函数

神经网络得以实现是经过前向传播计算Loss，根据Loss的值进行反向推导，并进行相关参数的调整。所以损失函数的选取十分关键，主要的是均方误差和交叉熵误差

2.1均方误差

2.2交叉熵误差

公式：