1 逻辑斯谛算法
1.1 工作原理
逻辑斯谛是一种最优化算法。根据现有数据对分类边界线建立回归公式,相当于找出一些拟合参数,将两类数据尽可能的分开。为了实现回归分类,我们给每个特征分配一个回归系数,然后把所有结果相加,为了能让这个结果可以表示分类,我们另外使用一个阶跃函数Sigmoid,将结果带入,函数可以使输出范围控制在0-1之间,大于0.5分为1类,小于0.5分为0类。
1.2 三要素
模型:条件概率模型、对数线性函数决策模型
策略:对数似然函数最大化、逻辑斯谛损失(预测值与真实值的差)
算法:梯度下降算法
注:随机梯度下降算法更快速,不容易陷入局部最优解。
条件概率模型和对数线性模型可以相互转化,即表示为输出Y=1的对数几率是输入x的线性函数。
优点:计算代价不高,易于理解和实现。