为什么逻辑回归要用sigmoid函数?
首先sigmoid函数曲线非常漂亮,连续平滑且对称,当输入值趋于无限大或者无限小时,函数值趋于0和1,对输入不是很敏感。由于该函数求导是连续平滑的,而逻辑回归在梯度方向搜索最优权值,所以该函数比较好。
逻辑回归也可以用其他分类函数,比如softmax,现在进行比较:
分类判别函数在神经网络中比较常用的是sigmoid函数和softmax函数。
Sigmoid函数最后得到的向量之和不为1,softmax得到的向量个为1.
也就是说,softmax函数在强调突出某一个输出值的时候,会削弱其他值,只允许一个分类结果出现,比如性别预测。而sigmoid允许多个值同时并存。允许多种分类情况出现,比如病症诊断。