为什么要使用激活函数
激活函数可以实现非线性划分
比如说一个二分类问题,如果使用不使用激活函数,那么他的决策边界只能是一条直线,不能拐弯
若使用了激活函数,以sigmoid为例,就可以实现非线性的划分
不使用激活函数的后果
如果不使用非线性激活函数,那么无论叠加多少层线性层都和单个线性层没有差别
如
y1=w1*x
y2=w2*y1=w1*w2x
把w1*w2看成一个参数w3,那么y2=w3x还是一个线性输出,没什么用
激活函数可以实现非线性划分
比如说一个二分类问题,如果使用不使用激活函数,那么他的决策边界只能是一条直线,不能拐弯
若使用了激活函数,以sigmoid为例,就可以实现非线性的划分
如果不使用非线性激活函数,那么无论叠加多少层线性层都和单个线性层没有差别
如
y1=w1*x
y2=w2*y1=w1*w2x
把w1*w2看成一个参数w3,那么y2=w3x还是一个线性输出,没什么用