逻辑回归算法原理_逻辑回归原理

逻辑回归原理

逻辑回归算法是数据挖掘中经常被用到的分类方法，尤其对于两类分类问题。逻辑回归算法的一个优势就是它是基于概率的分类算法并且很容易被扩展到多类问题。更重要的是大多数无约束最优化技术都可以应用到逻辑回归的求解过程中。在逻辑回归算法中对数似然比由线函数来拟合。对于两类的情况，可用式(2.1)表示：

（3-1）

其中，x 代表实例，w 代表未知的参数，w 的选择应该使得实例属于各个类的概率之和等于 1，即：

(3-2)

联合(2.1)(2.2)可以得到，

(3-3)

(3-4)

w 可以通过最大似然估计进行计算，其对数似然函数为：

(3-5)

(3-6)

所以目标函数可写成：

(3-7)

其中，c 表示一个常量。 从式(2.5)可以看出，使用最大似然估计方法求解逻辑判别中参数 w 的目标是使学习到的模型正确分类各个实例的概率对数和最大化，而不考虑该实例是多数类实例还是少数类实例。

《来源科技文献，经本人分析整理，以技术会友，广交天下朋友》