机器学习之逻辑回归( Logistic Regression,LR)
机器学习方法之逻辑回归(LR)
本文主要用简单的语言讲述一下逻辑回归方法的原理,然后通过一个具体的案例来分析逻辑回归方法的优缺点,具体采用Python语言实现。
原理介绍
提到逻辑回归,很容易想到另外一种方法:线性回归(Linear Regression),所以接下来我们通过对比两种方法来达到对逻辑回归的认识与理解。
- 计算公式及用途
(1)线性回归
主要用于回归;
(2)逻辑回归
主要用于分类;
那么,逻辑斯特回归是怎么做到分类的呢?它用的是概率的方法,预测出一个概率,比如>0.5判定为一类,<0.5就判定为另外一类。
然后另外一个问题出现了,如果将函数值转换为概率的体现呢?
通过上述函数就可以实现,这个函数叫Logistic函数(或称为Sigmoid函数),当z≥0 时,h≥0.5,分类为1,当 z<0时,h<0.5,分类为0,其对应的h值我们可以视为类别1的概率预测值,这里的z就相当于线性回归方程的表达式。
下图是h关于z 的曲线:
可以看出h的取值范围在[0,1],符合概率的取值范围。我们利用数据进行模型训练的目的就是得到这里的z表达式的系数;
应用案例之鸢尾花分类
将逻辑回归模型应用于鸢尾花分类案例,整个过程采用python语言实现:
(1)导入基本库
`# 基础函数库
import numpy as np
import pandas as pd
#绘图函数库
import matplotlib.pyplot as plt
import seaborn as sns`
(2)案例数据读取
##我们利用sklearn中自带的iris数据作为数据载入,并利用Pandas转化为DataFrame格式
from sklearn.datasets impo