1.在深度学习中如果不引入Relu,tanh,sigmod等函数,多层的神经网络将变的没有意义,再多层也只等价于做了一个线性变换。只有通过加入激励层才能很好得实现神经网络。
2.至于逻辑回归中应用Sigmod更多的还是利用其非线性的特点,具体见文章
图1和图2是逻辑回归中常举的一个例子,图中横坐标表示肿瘤的大小,纵坐标表示是癌症的概率,当概率超过0.5时表示是癌症。
图1中红色叉叉表示实际的样本(下方的不是癌,上方的是癌),紫色直线是利用直线方程y=kx+b根据样本拟合出来的。根据每个样本的X值(肿瘤大小)和拟合的直线可以得到该样本是癌细胞的概率。图1直线拟合的结果与实际一致。找到拟合直线上0.5概率对应的X值,可以看到能够很好地将癌细胞和非癌细胞区分开来。
图2中红色叉叉表示实际的样本(下方的不是癌,上方的是癌),蓝色直线是拟合直线。由于癌细胞中的最后一个样本X值过大,使得直线斜率变小。从拟合直线可以看出,当给定第一和第二个癌细胞的X值(肿瘤大小)时,拟合直线上对应的癌细胞概率不到0.5,从而认为不是癌细胞,进行了误判。从另一个角度,找Y值0.5对应的肿瘤尺寸X1也可以发现错误,X1左侧的被认为是良性的,右侧的是癌细胞。所以拟合的直线是有问题的。
因此引入了图3所示的Sigmod函数:
sigmoid函数具有我们需要的一切优美特性,其定义域在全体实数,值域在[0, 1]之间,并且在0点值为0.5