逻辑回归:
本质:极大似然估计
激活函数:sigmoid激活函数
损失函数:交叉熵损失函数
特点:二分类算法,速度快,适应性差。
数学模型表达:h(x)=g(参数矩阵的转置(x))。其中g为sigmoid激活函数,为1/(1+e^(-x))。
提问:
逻辑回归为何使用sigmoid激活函数?
sigmoid激活函数满足最大熵原则,且任意阶可导,方便使用。
逻辑回归为何使用交叉熵损失函数,不用均方差函数?
按照逻辑回归的数学模型推导,其使用均方差损失函数曲线存在多个局部最优解,而使用交叉熵损失函数则满足全局最优解条件。