ReLu(Rectified Linear Units)激活函数
Sigmoid函数导数图像如下,函数最大值约为0.25根据BP算法,每次更新的权值会是多层sigmoid prime的乘积,随着层数增多会越来越小。ReLu函数f(x)=max(0,x),导数在x>0时为1,x<0时为0。使用ReLu可以一定程度减小运算量,避免层数增加的问题。下面代码中,仅需把sigmoid替换成relu。1 # coding:utf8 2 import cPickle 3 import numpy as np 4 5 .
转载
2021-11-25 17:03:48 ·
325 阅读 ·
0 评论