激活函数
激活函数与损失函数关系
激活函数先进行0-1区间,再输入损失函数与label进行误差计算,最后反向传播
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210508094120503.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM1NzQ3Mg==,size_16,color_FFFFFF,t_70)
1、sigmoid(二分类、多标签)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210508094559142.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210508094609418.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM1NzQ3Mg==,size_16,color_FFFFFF,t_70)
2、softmax(多分类,概率和为1)
Sigmod本质上是Softmax的特殊情况
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210508094733633.png)
正则化、Normalization、Dropout
三者防止过拟合,(其他防止过拟合,数据增加,提前结束,残差等)
参考:https://blog.csdn.net/guihuo2889/article/details/92803588
激活函数,dropout、Normalization一般顺序:
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210508165607604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM1NzQ3Mg==,size_16,color_FFFFFF,t_70)