激励函数的理解
在学习神经网络的时候,接触到的第一个晦涩的概念就是激励函数这个名词。所以小编就查了好多资料来理解这个概念。
百度百科给出的定义是:神经网络中的每个节点接受输入值,并将输入值传递给下一层,输入节点会将输入属性值直接传递给下一层(隐层或输出层)。在神经网络中,隐层和输出层节点的输入和输出之间具有函数关系,这个函数称为激励函数。
小编通俗的理解是,输入与输出有一种关系,这种关系需要一个函数来表示,也就是激励函数。
常见激励函数
1、Sigmoid
Sigmoid是一个非线性激励函数,定义为:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/72ce07696a578b5c9476892c261662b2.png)
函数图形为:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4caeef20604b0d7d6e32a9661fe5b497.png)