机器学习教程之3-逻辑回归(logistic regression)的sklearn实现

版权声明:本文为博主原创文章,欢迎转载,转载请注明原文地址。 https://blog.csdn.net/u010837794/article/details/70991434

0.概述

线性回归不仅可以做回归问题的处理,也可以通过与阈值的比较转化为分类的处理,但是其假设函数的输出范围没有限制,这样很大的输出被分类为1,较少的数也被分为1,这样就很奇怪。而逻辑回归假设函数的输出范围是0~1。

当数据集中含有误差点时,使用线性回归相应的误差也会很大。

逻辑回归其实是分类算法,但是由于历史原因被称为逻辑回归。

逻辑回归的假设函数以线性回归的假设函数为基础,通过S形函数进行复合形成的复合函数

虽然逻辑回归代价函数线性回归代价函数在形式上是一样的,但是假设函数不一样,因而实际上是不一样的。

逻辑回归是一种非常强大,甚至可能世界上使用最为广泛的一种分类算法。

1.分类问题

逻辑回归是一种分类算法

在分类问题中,要预测的变量y是离散的值

逻辑回归是目前最流行使用最广泛的一种学习算法

2.假说表示

假设函数的要求:由于逻辑回归这种分类器要求的输出值在0和1之间,因此需要想出一个满足预测值在0到1之间的假设函数

逻辑回归的假设模型

其中,X代表特征向量,g代表逻辑函数(logistic function)是一个常用的逻辑函数为S形函数(Sigmoid function)

S形函数(Sigmoid function):

该函数的图像为:

合起来,我们得到逻辑回归模型的假设:

hθ(x)的作用是,对于给定的输入变量,根据选择的参数计算输出变量=1 的可能性(estimated probablity)即

假设函数的值为0.7,则表示有70%的几率y为正向类。

3.决策边界

决策边界(decision boundary)由假设函数决定,理论上可以为任意曲线。

4.代价函数

对于线性回归模型,代价函数是所有模型误差的平方和。但是在逻辑回归中,假设函数带入到误差平方和模型中,假设函数将会是一个非凸函数(non-convex function),这样有许多局部最小值,这将影响梯度下降算法寻找全局最小值。

逻辑回归的代价函数

,其中
这里写图片描述
将构建的 Cost(hθ(x),y)简化如下:

逻辑回归的代价函数是关于输入变量theta 0、theta 1、…、theta n的一个函数。
带入代价函数得到:

在得到这样一个代价函数以后,我们便可以用梯度下降算法来求得能使代价函数最小的参数了。

梯度下降

求导后得到:

5.简化的代价函数和梯度下降

逻辑回归和线性回归的梯度下降公式看上去一样,都是:

但是其假设函数不一样
线性回归假设函数:

逻辑回归假设函数:

6.高级优化

除了梯度下降法,还有共轭梯度法、BFGS(变尺度法)和L-BFGS(限制变尺度法),这三种算法的优点是不需要手动选择学习率,比梯度下降法快,缺点是更加复杂。

7.多类别分类:一对多

我们将谈到如何使用逻辑回归 (logistic regression)来解决多类别分类问题,具体来说,可以通过一个叫做”一对多” (one-vs-all) 的分类算法。
假设一个训练集有三个类别,可以转化为三个两元分类的问题。
最后,在我们需要做预测时,我们将所有的分类机都运行一遍,然后对每一个输入变量,都选择最高可能性的输出变量。
各种可能性的概率之和为1。

8.代码

(1)原始模型

"""
功能:逻辑回归
说明:
作者:唐天泽
博客:http://blog.csdn.net/u010837794/article/details/
日期:2017-08-14
"""

"""
导入项目所需的包
"""
import numpy as np
import matplotlib.pyplot as plt

# 使用交叉验证的方法,把数据集分为训练集合测试集
from sklearn.model_selection import train_test_split

from sklearn import datasets
from sklearn.linear_model import LogisticRegression

# 加载iris数据集
def load_data():
    diabetes = datasets.load_iris()

    # 将数据集拆分为训练集和测试集 
    X_train, X_test, y_train, y_test = train_test_split(
    diabetes.data, diabetes.target, test_size=0.30, random_state=0)
    return X_train, X_test, y_train, y_test

# 使用LogisticRegression考察线性回归的预测能力
def test_LogisticRegression(X_train, X_test, y_train, y_test):
    # 选择模型
    cls = LogisticRegression()

    # 把数据交给模型训练
    cls.fit(X_train, y_train)

    print("Coefficients:%s, intercept %s"%(cls.coef_,cls.intercept_))
    print("Residual sum of squares: %.2f"% np.mean((cls.predict(X_test) - y_test) ** 2))
    print('Score: %.2f' % cls.score(X_test, y_test))

if __name__=='__main__':
    X_train,X_test,y_train,y_test=load_data() # 产生用于回归问题的数据集
    test_LogisticRegression(X_train,X_test,y_train,y_test) # 调用 test_LinearRegression

Coefficients:[[ 0.40051422 1.30952762 -2.09555215 -0.9602869 ]
[ 0.3779536 -1.39504236 0.41399108 -1.09189364]
[-1.66918252 -1.18193972 2.39506569 2.00963954]], intercept [ 0.24918551 0.81149187 -0.97217565]
Residual sum of squares: 0.11
Score: 0.89

(2)在(1)的基础上使用多分类参数

"""
功能:逻辑回归
说明:
作者:唐天泽
博客:http://blog.csdn.net/u010837794/article/details/
日期:2017-08-14
"""

"""
导入项目所需的包
"""
import numpy as np
import matplotlib.pyplot as plt

# 使用交叉验证的方法,把数据集分为训练集合测试集
from sklearn.model_selection import train_test_split

from sklearn import datasets
from sklearn.linear_model import LogisticRegression

# 加载iris数据集
def load_data():
    diabetes = datasets.load_iris()

    # 将数据集拆分为训练集和测试集 
    X_train, X_test, y_train, y_test = train_test_split(
    diabetes.data, diabetes.target, test_size=0.30, random_state=0)
    return X_train, X_test, y_train, y_test

# 使用LogisticRegression考察线性回归的预测能力
def test_LogisticRegression_multiomaial(X_train, X_test, y_train, y_test):
    # 选择模型
    cls = LogisticRegression(multi_class='multinomial',solver='lbfgs')

    # 把数据交给模型训练
    cls.fit(X_train, y_train)

    print("Coefficients:%s, intercept %s"%(cls.coef_,cls.intercept_))
    print("Residual sum of squares: %.2f"% np.mean((cls.predict(X_test) - y_test) ** 2))
    print('Score: %.2f' % cls.score(X_test, y_test))

if __name__=='__main__':
    X_train,X_test,y_train,y_test=load_data() # 产生用于回归问题的数据集
    test_LogisticRegression_multiomaial(X_train,X_test,y_train,y_test) # 调用 test_LinearRegression

Coefficients:[[-0.39772352 0.83347392 -2.28853669 -0.98142875]
[ 0.54455173 -0.29022825 -0.23370111 -0.65566222]
[-0.14682821 -0.54324567 2.5222378 1.63709097]], intercept [ 8.99974988 1.54361012 -10.54336001]
Residual sum of squares: 0.02
Score: 0.98

(3)考虑正则化系数

"""
功能:逻辑回归
说明:
作者:唐天泽
博客:http://blog.csdn.net/u010837794/article/details/
日期:2017-08-14
"""

"""
导入项目所需的包
"""
import numpy as np
import matplotlib.pyplot as plt

# 使用交叉验证的方法,把数据集分为训练集合测试集
from sklearn.model_selection import train_test_split

from sklearn import datasets
from sklearn.linear_model import LogisticRegression

# 加载iris数据集
def load_data():
    diabetes = datasets.load_iris()

    # 将数据集拆分为训练集和测试集 
    X_train, X_test, y_train, y_test = train_test_split(
    diabetes.data, diabetes.target, test_size=0.30, random_state=0)
    return X_train, X_test, y_train, y_test

# 使用LogisticRegression考察线性回归的预测能力
def test_LogisticRegression_C(X_train, X_test, y_train, y_test):
    Cs=np.logspace(-2,4,num=100)
    scores=[]
    for C in Cs:
        # 选择模型
        cls = LogisticRegression(C=C)

        # 把数据交给模型训练
        cls.fit(X_train, y_train)

        scores.append(cls.score(X_test, y_test))

     ## 绘图
    fig=plt.figure()
    ax=fig.add_subplot(1,1,1)
    ax.plot(Cs,scores)
    ax.set_xlabel(r"C")
    ax.set_ylabel(r"score")
    ax.set_xscale('log')
    ax.set_title("LogisticRegression")
    plt.show()

if __name__=='__main__':
    X_train,X_test,y_train,y_test=load_data() # 产生用于回归问题的数据集
    test_LogisticRegression_C(X_train,X_test,y_train,y_test) # 调用 test_LinearRegression

9.总结

10.参考资料

[1] ng CS229
[2] 李航 《统计学习方法》
[3] 华校专《Python大战机器学习》

展开阅读全文

没有更多推荐了,返回首页