2.2、logistic回归

一、什么是logistics回归

首先我们先要了解回归的概念，现有一些数据点，我们用 一条直线对这些点进行拟合，该线称为最佳拟合直线，这个拟合过程就称作回归。logistic回归虽然说是回归，但确是为了解决分类问题，是二分类任务的首选方法，简单来说，输出结果不是0就是1。

举个简单的例子：癌症检测——输入病理的图片并且辨别患者是否患有癌症

二、logistics回归和线性回归

线性回归：线性回归是机器学习中比较基本的一个算法。其基本思想大致可以理解为给定一个数据集，通过线性回归得到一条曲线，尽可能地去拟合这个数据集。

logistics回归：逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。

​

对于图二来说，在角落加上一块蓝色点之后，线性回归的线会向下倾斜，参考紫色的线。

logistic回归（参考绿色的线）分类的还是很准确，logistic回归在解决分类问题上还是不错的

三、logistic回归的原理

Sigmoid函数：

​

Sigmoid函数图像：

​

 Sigmoid函数的导数为：

​

 Logistic回归通过Sigmoid函数，输入拟合函数后，将输出值固定在[0,1]区间。所以我们可以将输出值视为概率值。通常情况下，当概率值小于0.5时，输出为0；当时概率值大于0.5时，输出为1：

​

 

四、logistic回归损失函数

如果logistic回归仍然采用和线性回归一样的代价函数，由于拟合函数的改变，会使最终的代价函数变为非凸的函数，从而无法很好地利用梯度下降法去求解。为此，在logistic回归中，代价函数变成了交叉熵损失函数：

​

 

 为了简化公式，上述分段函数可以进一步写成：

​

 于是，针对m个训练集，最终的代价函数为：

​

接下来的流程就和线性回归一致了，即利用梯度下降，通过多次迭代，最终得到一组合适的参数θ 

​

 五、项目举例

鸢尾分类

1、LogisticRegression 类

sklearn.linear_model.LogisticRegression (penalty='l2', *, 
										 dual=False, 
										 tol=0.0001, C=1.0, 
										 fit_intercept=True, 
										 intercept_scaling=1, 
										 class_weight=None, 
										 random_state=None, 
										 solver='lbfgs', 
										 max_iter=100, 
										 multi_class='auto', 
										 verbose=0, 
										 warm_start=False, 
										 n_jobs=None, 
										 l1_ratio=None)

2、案例

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score




# 载入数据集,Y的值有0,1,2三种情况，每种特征150个样本
iris = load_iris()
X = iris.data[:, :2]   #获取花卉两列数据集
Y = iris.target

# 对数据做一些格式转换
X=pd.DataFrame(X)
Y=pd.DataFrame(Y)
X.columns=["Sepal length","Sepal width"]
Y.columns=["class"]
print(X.head())
print(Y.head())
Y=Y.loc[:,"class"]

# 画出散点图，先看一下数据分布情况
setosa = plt.scatter(X.loc[:, "Sepal length"][Y == 0],
                     X.loc[:, "Sepal width"][Y == 0],
                     color='red', marker='o', label='setosa')

versicolor = plt.scatter(X.loc[:, "Sepal length"][Y == 1],
                         X.loc[:, "Sepal width"][Y == 1],
                         color='blue', marker='*', label='versicolor')

virginica = plt.scatter(X.loc[:, "Sepal length"][Y == 2],
                        X.loc[:, "Sepal width"][Y == 2],
                        color='yellow', marker='x', label='virginica')

plt.legend((setosa, versicolor, virginica),
           ('setosa', 'versicolor', 'virginica'))
plt.xlabel("Sepal length")
plt.ylabel("Sepal width")
plt.show()

# 建立逻辑回归模型，开始训练
lr = LogisticRegression()
lr = lr.fit(X,Y)

# 预测、计算分类准确度
y_pred= lr.predict(X)
print("准确结果")
print(accuracy_score(Y,y_pred))
print("---------------------------------------------")

# 打印出预测结果，以及逻辑回归得到的三条分界线的斜率和截距
print("预测结果为：")
print(y_pred)
print("---------------------------------------------")
print("逻辑回归得到的三条分界线的斜率为：")
print(lr.coef_)
print("---------------------------------------------")
print("逻辑回归得到的三条分界线的截距为：")
print(lr.intercept_)

#可视化分类结果
# 由函数关系在散点图上绘制出三条边界线，直观的看一下分类效果
# c+a*x1+b*x2=0
fig = plt.figure()
a1 = lr.coef_[0][0]
b1 = lr.coef_[0][1]
c1 = lr.intercept_[0]

a2 = lr.coef_[1][0]
b2 = lr.coef_[1][1]
c2 = lr.intercept_[1]

a3 = lr.coef_[2][0]
b3 = lr.coef_[2][1]
c3 = lr.intercept_[2]
x = X.loc[:, "Sepal length"]

y1 = -(c1 + a1 * x) / b1
y2 = -(c2 + a2 * x) / b2
y3 = -(c3 + a3 * x) / b3
plt.plot(x, y1)
plt.plot(x, y2)
plt.plot(x, y3)

setosa = plt.scatter(X.loc[:, "Sepal length"][Y == 0],
                     X.loc[:, "Sepal width"][Y == 0],
                     color='red', marker='o', label='setosa')

versicolor = plt.scatter(X.loc[:, "Sepal length"][Y == 1],
                         X.loc[:, "Sepal width"][Y == 1],
                         color='blue', marker='*', label='versicolor')

virginica = plt.scatter(X.loc[:, "Sepal length"][Y == 2],
                        X.loc[:, "Sepal width"][Y == 2],
                        color='yellow', marker='x', label='virginica')

plt.legend((setosa, versicolor, virginica),
           ('setosa', 'versicolor', 'virginica'))
plt.xlabel("Sepal length")
plt.ylabel("Sepal width")

plt.xlim((4, 8))
plt.ylim((2, 4.5))

plt.show()