深度学习——恒等函数和softmax函数

恒等函数和softmax函数这两个函数多用于输出层的激活函数

其中分类问题多用softmax函数，回归方程多用恒等函数

ps:分类问题可类比为分类图像，比如区分人，车，手机等物体；

     回归问题可类比为房价和地区，大小等因素成正比

 

 

1. 恒等函数：输出=输入

2. softmax函数：输出为一个函数

其中exp为指数函数，ak代表第k个输出神经元的输入，ai代表第i个输出神经元的输入，公式分子表示ak的指数函数，分母表示所有输出神经元的输入指数函数的和

2.1 softmax函数的注意事项

在计算指数时，比如e的5000次方，数据将会非常大，计算机处理“数”时，数值必须在4字节或8字节的有限数据宽度内，超出的数据则会显示为无穷（inf），所以要对softmax函数进行改进，防止数据的溢出

如图中，将分子分母同时乘以C，然后将C提进指数函数中，图中用的logC理解成数学中的lnC，然后用C'代替logC，通过控制C'来控制exp函数中的指数，来实现softmax函数不因为数据过大而出错

2.2 softmax函数意义

通过公式我们可以知道softmax函数得出的结果的和为1，换一种说法，即每个输出神经元的输出是这个神经元的概念，比如现在有两个神经元，y1输出为0.2，y2输出为0.8，则代表y1的概率为20%，y2的概率为80%，若y1代表汽车，y2代表人，则表示有80%概率是人