- 笔记1来自知乎网友lee philip的回答:
激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。比如异或问题,激活函数我们选择阀值函数(threshold function),也就是大于某个值(如0)输出1(被激活了),小于等于则输出0(没有激活),这个函数是非线性函数。
其中直线上的数字为权重。圆圈中的数字为阀值。第二层,如果输入大于1.5则输出1,否则0;第三层,如果输入大于0.5,则输出1,否则0. 所以,对于那种用一条线没办法分类的问题,就可以用神经网络的方式转化为非线性问题,然后加入激励函数进行01选择,最后输出分类结果。
- 笔记2:
常用的激励函数:ReLU,意思是:大于0的部分保留,小于等于0的部分记为0,由于矩阵稀疏性运算速度会加快,比下面两种常用。
其他还有比较古老的激励函数,如sigmoid函数:
还有sigmoid函数的变形tanh函数:
- 笔记3:
在神经网络输出层部分,常用softmax函数来进行归一化处理,同时增强数据间的对比度。
softmax: