根据线性代数的知识,线性变换的组合依然是线性变换,仅仅通过全连接和卷积层,最后得到的结果依然是线性变换的组合,可以等价为一个线性变换,。
为了使得神经网络具有非线性的特征,我们需要在线性变换之间插入一个非线性层,也就是激活函数。
最常见的就是sigmoid,tanh和ReLU
激活函数的作用
最新推荐文章于 2022-06-26 20:37:10 发布
根据线性代数的知识,线性变换的组合依然是线性变换,仅仅通过全连接和卷积层,最后得到的结果依然是线性变换的组合,可以等价为一个线性变换,。
为了使得神经网络具有非线性的特征,我们需要在线性变换之间插入一个非线性层,也就是激活函数。
最常见的就是sigmoid,tanh和ReLU