逻辑回归算法是目前机器学习中比较主流的一种分类算法。通常我们指的分类问题都是一个二分类问题,逻辑回归方法也主要是针对二分类问题的。
但是,在实际应用中也存在很多多分类问题,比如我们预测一场足球比赛的结果,这就有胜负平三种可能,也即是三种分类。多分类问题我们将在文末加以说明。
本文介绍了逻辑回归算法的原理,同时在使用sklearn包的情况下运用逻辑回归方法。
算法步骤
逻辑回归问题其实是将回归的思想用于分类问题
Step 1: 通过自变量利用回归分析的思想得到因变量预测值 y y y
Step 2: 通过logistic函数(也称Sigmoid函数)将因变量的预测值 y y y一一映射到 ( 0 , 1 ) (0,1) (0,1)区间内,设为 w w w, w w w其实是分类为正类的概率
Step 3: 设立一个阈值,当 w w w大于阈值时,将其分为正类;否则将其分为负类
详细说明
在Step 1中,我们只需要将自变量和因变量挑出来,对其进行回归分析,得出因变量的预测值 y y y
y = θ 0 + θ 1 x 1 + θ 2 x 2 + . . . . + θ n x n y = \theta_0+\theta_1x_1+\theta_2x_2+....+\theta_nx_n y