logistic回归

最新推荐文章于 2023-01-02 21:50:11 发布
最新推荐文章于 2023-01-02 21:50:11 发布
阅读量1.1k 收藏
点赞数
文章标签： 算法 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Keiji582/article/details/121459555
版权

文章目录

实验环境

Python:3.7.0
Anconda:3-5.3.1 64位
操作系统:win10
开发工具:sublime text(非必要)

实验简介

本次实验为学习和了解机器学习中应用到的线性模型和其中的经典案例logistic回归，并且以UCI的数据集完成一个分类任务。

线性回归

在直接引入**对数几率回归（即logistic回归）**前，更为合适的方式是先介绍线性回归
首先，线性模式一般的形式如下：
在这里插入图片描述

其中x=(x1, x2, …, xd)是由d维属性描述的样本，其中 xi 是 x 在第 i 个属性上的取值。

同时，也可以用向量形式写成
在这里插入图片描述
首先需要理解，线性回归本身完成的是一个回归任务，即试着学习一个线性模型来尽可能的预测出输出值；也就是学习到上面的w的权值矩阵和偏移量b，从而达到可以依靠一个x来获得一个预测的y值，并使得这个y值尽可能的逼近真实值。

为了使得整个概念简单易懂，我们先模拟一种最简单的情况，即输入属性只有一个，也就是只有w1和b需要被预测。这个时候我们简单的写一个简短的demo进行测试。（注意：这里使用到了Sklearn库）

Sklearn (全称 Scikit-Learn) 是基于 Python 语言的机器学习工具。它建立在 NumPy, SciPy, Pandas 和 Matplotlib 之上，里面的 API 的设计非常好，所有对象的接口简单，很适合新手上路。

且为了使得模型简单易懂，设计了一个大致是w1为2，b为0的模型对象，并手动以这个目标为前提设计了一个简易的数据集。

import numpy as np 
import matplotlib.pyplot as plt  
from sklearn.linear_model import LinearRegression

data=[
    [0.5,1],[0.6,1.25],[0.65,1.30],[0.7,1.38],[0.8,1.62],
    [0.85,1.71],[0.9,1.79],[0.94,1.88],[0.96,1.93],[0.99,2.01]
]
dataMat = np.array(data)
X = dataMat[:,0:1] 
y = dataMat[:,1]   
model = LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
model.fit(X, y) 
print('系数矩阵:\n',model.coef_)
print('线性回归模型:\n',model)
predicted = model.predict(X)
plt.scatter(X, y, marker='x')
plt.plot(X, predicted,c='r')
plt.xlabel("x")
plt.ylabel("y")
plt.show()

让我们实际观察运行结果
在这里插入图片描述

最小二乘与参数求解

事实上，如果囫囵吞枣的看完上面的内容和实验结果后，也许会觉得不难理解，但仔细看看就会觉得有许多费解之处，这是由于上面的例子用了完成度很高的Sklearn库，大量的相关操作已经在这个库内包含完成了；也就是下面这两行。

model = LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
model.fit(X, y)

但这里有一点需要注意的是，对于整个过程而言，参数到底是如何求得的？这个才是整个算法的关键，这里会引入一个最小二乘的概念。

首先，为了确定w和b，一定程度上需要确定f（x）和y的差别，这里会涉及到均方误差的概念。
这里引用一篇优秀的相关博文，需要了解相关概念的可以前往阅读。

https://blog.csdn.net/qq_38701868/article/details/99703998

在这里插入图片描述
也就是上面的形式，这里的w和b表示w和b的解；在这里，基于均方误差最小化来进行模型求解的方法就被称为“最小二乘法”。换言之，线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到直线上得欧式距离最小。

显而易见的，我们可以分别对w和b求导并使得各自结果为0可以得到最优解的闭式解
在这里插入图片描述

这个过程不难推导，只要有简单的高数基础就可以完成；其中图中画红线的部分其实就是x的均值。

但同样有一个重要的问题，即上述的情况只涉及一个属性，而实际情况中往往存在多个属性。这时我们试图学习的便不再是一个单值的w，而是一个向量。

类似的，可以利用最小二乘法来对w和b进行估计，为了方便表述，将w和b使用向量形式，相应的，把数据集表示为一个m*（d+1）大小的矩阵X，其中每行对应于一个示例，该行前d个元素对应于示例的d个属性值，也即是下图中的红框部分，并将最后一个元素值1，如下
在这里插入图片描述
再将y也做类似的操作
在这里插入图片描述
则此时依据前面最小二乘的形式可以相似的得出下列式子
在这里插入图片描述

同时我们令Ew等于上式并对w进行求导可得
在这里插入图片描述

对数几率回归

经过前面的引入后，我们已经可以简单的理解使用线性模型进行回归任务；但如果我们要进行的是分类任务该怎么办？其实很简单，只要将广义线性模型（式子如下）的微调函数进行适当的选择即可。
在这里插入图片描述

这里需要进行一个简单的补充，虽然本实验为logistic回归（也即对数几率回归），但实际上解决的是分类任务，名字中的回归指的是回归分界线，也即回归的是参数。

考虑二分类的任务，其输出要么为1要么为0，而线性回归模型产生的预测值是连续的实值；于是我们需要将结果进行转换。最理想的方法是一个简单的单位阶越函数如下
在这里插入图片描述

但上面的函数有一个巨大的缺陷，即其是不可导的非连续函数，显然这在上面的广义线性模型中不能充当联系函数的职位，因为需要求导。

相对应的，我们提出了一个替代的解决方案，也就是至今仍在各种机器学习模型中应用的sigmoid函数。
在这里插入图片描述
它的图像长这样
在这里插入图片描述
可以看到，虽然在小范围内看不出来，但稍微将范围扩大时，这个函数与阶跃函数高度相似。

为了获得最佳的回归系数w和b这里要用到最优化方法。在很多分类器中，都会将预测值与实际值的误差的平方和作为损失函数（代价函数），通过梯度下降算法求得函数的最小值来确定最佳系数。

我们需要先定义一个最大似然函数L，假定数据集中的每个样本都是独立的，其计算公式如下：
在这里插入图片描述
取似然函数的对数：
在这里插入图片描述
为了更好地理解这一最终损失函数，先了解一下如何计算单个样本实例的成本：
在这里插入图片描述
通过上述公式发现：如果y=0，则第一项为0；如果y=1，则第二项等于0；
在这里插入图片描述
接下来我们就要使用梯度下降求最小值了。首先，计算对数似然函数对j个权重的偏导：
在这里插入图片描述
计算sigmoid函数的偏导：
在这里插入图片描述
在这里插入图片描述

我们的目标是求得使损失函数最小化的权重w，所以按梯度下降的方向不断的更新权重：
在这里插入图片描述
由于我们是同时更新所有的权重的，因此可以将更新规则记为：
在这里插入图片描述
综上，我们将梯度下降的更新规则定义为：在这里插入图片描述
但注意，后面的实验中采用的是，人民邮电出版社的《机器学习实战》的代码，其所使用的是梯度上升的方法，与此处的梯度下降相反，需要将上诉结果取反。

实验

注意，本次实验的代码为人民邮电出版社的《机器学习实战》所提供，书中代码为python2环境下的代码，有部分函数存在弃用，本实验在python3的环境下运行，会有部分修改。

数据集

本次实验的数据集采用UCI机器学习数据库，其网址如下

https://archive.ics.uci.edu/ml/datasets.php

其中为了符合本次实验的需求，选取用于分类的数据集，并且属性在10个以上控制在100个以下。
在这里插入图片描述

对选定的数据集进行人为的切分，所选用数据集属性为10，样本个数为776，切分后分别如下图所示
在这里插入图片描述
在这里插入图片描述

代码实现

首先是对sigmoid函数的实现 十分简单

def sigmoid(inX):
    return 1.0 / (1 + np.exp(-inX))

其次对梯度上升算法的实现

#改进的随机梯度上升法（随机化）
#使用随机的一个样本来更新回归系数
#numIter迭代
def stoGradAscent1(dataMatrix, classLabels, numIter = 150):
    #m为行 n为列
    m,n = shape(dataMatrix)
    weights = ones(n)
    # 随机梯度, 循环150,观察是否收敛
    for j in range (numIter):
        # [0, 1, 2 .. m-1]
        dataIndex = range(m)
        for i in range(m):
            #alpha会随着迭代次数不断减小，但不会是0
            alpha = 4 / (1.0 + j + i) + 0.0001
            # random.uniform(x, y) 方法将随机生成下一个实数，它在[x,y]范围内,x是这个范围内的最小值，y是这个范围内的最大值。
            randIndex = int(random.uniform(0, len(dataIndex)))
            #随机选取更新
            h = sigmoid(sum(dataMatrix[randIndex] * weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del (list(dataIndex)[randIndex])
    return weights

然后设计一个函数用回归系数和特征向量作为输入来计算对应的sigmoid值，大于0.5时返回1反之则返回0。

#输入：特征向量与回归系数
def classifyVector(inX, weights):
    prob = sigmoid(sum(inX * weights))
    #大于0.5 返回 1；否则返回0
    if prob > 0.5:
        return 1.0
    else:
        return 0.0

然后是用于打开测试集和训练集的函数

def colicTest():
    frTrain = open('HorseColicTraining.txt')
    frTest = open('HorseColicTest.txt')
    trainingSet = []
    trainingLabels = []
    # trainingSet 中存储训练数据集的特征，trainingLabels 存储训练数据集的样本对应的分类标签
    for line in frTrain.readlines():
        currLine = line.strip().split('\t') #分割
        lineArr = []
        for i in range(10):
            lineArr.append(float(currLine[i]))
        #存入训练样本特征
        trainingSet.append(lineArr)
        #存入训练样本标签
        trainingLabels.append(float(currLine[10]))
    #使用改进后的随机梯度下降算法得到回归系数
    trainingWeights = stoGradAscent1(array(trainingSet), trainingLabels, 500)

    #统计测试集预测错误样本数量和样本总数
    errorCount = 0;
    numTestVec = 0.0
    for line in frTest.readlines():
        #循环一次，样本数加1
        numTestVec += 1.0
        currLine = line.strip().split('\t') #分割
        lineArr = []
        for i in range(10):
            lineArr.append(float(currLine[i]))
        # 利用分类预测函数对该样本进行预测，并与样本标签进行比较
        if int(classifyVector(array(lineArr), trainingWeights)) != int(currLine[10]):
            #如果预测错误，错误数加1
            errorCount += 1
    #计算错误率
    errorRate = (float(errorCount) / numTestVec)
    print('the error rate of this test is : %f' % errorRate)
    return errorRate

最后是一个用于多次调用coicTest()函数，计算错误率的平均值的函数

def multiTest():
    numTests = 10
    errorSum = 0.0
    for k in range(numTests):
        errorSum += colicTest()
    print('after %d iterations the average error rete is : %f ' % (numTests,errorSum / float(numTests)))

最后实际运行一下代码可以看到结果如下图所示
在这里插入图片描述
最终错误率只有0.01左右，当然，调整梯度的步长和训练的迭代次数同样可以改进这个结果，但也会换来时间成本的提升。

源码（基于python3的环境）

import numpy as np

def sigmoid(inX):
    return 1.0 / (1 + np.exp(-inX))
#改进的随机梯度上升法（随机化）
#使用随机的一个样本来更新回归系数
#numIter迭代
def stoGradAscent1(dataMatrix, classLabels, numIter = 150):
    #m为行 n为列
    m,n = shape(dataMatrix)
    weights = ones(n)
    # 随机梯度, 循环150,观察是否收敛
    for j in range (numIter):
        # [0, 1, 2 .. m-1]
        dataIndex = range(m)
        for i in range(m):
            #alpha会随着迭代次数不断减小，但不会是0
            alpha = 4 / (1.0 + j + i) + 0.0001
            # random.uniform(x, y) 方法将随机生成下一个实数，它在[x,y]范围内,x是这个范围内的最小值，y是这个范围内的最大值。
            randIndex = int(random.uniform(0, len(dataIndex)))
            #随机选取更新
            h = sigmoid(sum(dataMatrix[randIndex] * weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del (list(dataIndex)[randIndex])
    return weights
#输入：特征向量与回归系数
def classifyVector(inX, weights):
    prob = sigmoid(sum(inX * weights))
    #大于0.5 返回 1；否则返回0
    if prob > 0.5:
        return 1.0
    else:
        return 0.0
def colicTest():
    frTrain = open('HorseColicTraining.txt')
    frTest = open('HorseColicTest.txt')
    trainingSet = []
    trainingLabels = []
    # trainingSet 中存储训练数据集的特征，trainingLabels 存储训练数据集的样本对应的分类标签
    for line in frTrain.readlines():
        currLine = line.strip().split('\t') #分割
        lineArr = []
        for i in range(10):
            lineArr.append(float(currLine[i]))
        #存入训练样本特征
        trainingSet.append(lineArr)
        #存入训练样本标签
        trainingLabels.append(float(currLine[10]))
    #使用改进后的随机梯度下降算法得到回归系数
    trainingWeights = stoGradAscent1(array(trainingSet), trainingLabels, 500)

    #统计测试集预测错误样本数量和样本总数
    errorCount = 0;
    numTestVec = 0.0
    for line in frTest.readlines():
        #循环一次，样本数加1
        numTestVec += 1.0
        currLine = line.strip().split('\t') #分割
        lineArr = []
        for i in range(10):
            lineArr.append(float(currLine[i]))
        # 利用分类预测函数对该样本进行预测，并与样本标签进行比较
        if int(classifyVector(array(lineArr), trainingWeights)) != int(currLine[10]):
            #如果预测错误，错误数加1
            errorCount += 1
    #计算错误率
    errorRate = (float(errorCount) / numTestVec)
    print('the error rate of this test is : %f' % errorRate)
    return errorRate
if __name__ == "__main__":
    multiTest()
大鸟仙童
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【机器学习基础】Logistic回归基础
Jason Ding的专栏
01-11 2583
soft binary classification Logistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。 logistic regression的假设 我们在PLA和线性回归算法中都用数据的加权来计算一个分数
Logistic回归 MATLAB实现
11-26
Logistic回归又称Logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。Logistic回归的因变量可以...
实现Logistic回归
qq_34763004的博客
08-03 539
Logistic回归介绍 logistic回归是研究观察结果为二分类或多分类时，与影响因素之间关系的一种多变量分析方法，属于概率型非线性回归。它的主要是想是根据现有数据对分类边界线建立回归公式，并以此进行分类。 通过分类边界线进行分类，具体说来就是将每个测试集上的特征向量乘以回归系数(即最佳拟合参数)，再将结果求和，最后输入到logistic函数(也叫sigmoid函数)，根据sigm
机器学习实战——Logistic回归
KD_35_的博客
09-25 296
#机器学习实战——Logistic回归 Logistic回归，虽然名为回归，但实际是一个分类算法。利用Logistic回归进行分类的主要思想是：根据现有的一些数据对分类边界线建立回归公式，以此进行分类。这一算法的“回归”源于最佳拟合，表示要找到最佳拟合参数集。 Logistic回归的优点是：计算代价不高，易于理解和实现 缺点是：容易欠拟合，分类精度可能不高。 ##sigmoid函数 为了实现分类的目的，我们需要的拟合函数应该是可以接受所有的输入，同时能够根据输入到输出的映射预测出类别。 海维赛德阶跃函数（又
Logistic回归
Ruanes的博客
03-24 395
本文代码摘自书籍《机器学习实战》,我仅稍加改正和整理。 文章目录Logistic回归最佳回归系数的确定算法思路算法改进 Logistic回归 优点：计算代价不高，易于理解和实现。 缺点：容易欠拟合，分类精度可能不高。 最佳回归系数的确定 算法思路 这里使用的梯度上升找到最佳参数。 伪代码如下： 每个回归系数初始化为1 重复R次： 计算整个数据集的梯度 使用alpha*gradient更新回归系...
数学建模-人口模型Logistic模型与 Malthus模型
热门推荐
华数云图小分队的博客
11-05 1万+
根据题目中的数据只是一个粗略预报人口总数的模型，没有对人口的年龄、性别、地域结构进行预报，故采用Malthus模型或Logistic模型
Logistic回归算法
11-28
Logistic回归算法是一种广泛应用的统计学方法，常用于二分类问题，例如预测某事件是否会发生。在本资源中，我们有Logistic回归的实现代码（logRegres.py），以及一个具体的示例——预测病马死亡率（example.py）。...
logistic回归.pptx
11-12
Logistic 回归 Logistic 回归是一种常用的统计分析方法，用于研究多个自变量对一个二分类response 变量的影响。它可以估计每个自变量对应的危险度或保护度，从而判断哪些自变量对response 变量有显著影响。 ...
Adult_Income_Analysis:根据人口普查数据预测收入是否超过$ 50Kyr
03-19
成人收入分析 根据人口普查数据预测收入是否超过$ 50K /年。 我从UCI机器学习存储库收集了数据。 使用的分类模型： 决策树 线性回归 逻辑回归 随机森林 k最近邻居 支持向量机 我的分析表明，婚姻状况，人际关系和资本收益在收入预测中具有更大的重要性。 我的模型的ROC曲线：
单层神经网络-Logistics回归中误差曲线
TSINGHUAJOKING
11-17 1328
  ➤01 Logistic回归 Logistic回归通常用于处理二类分类问题。本质上它是单层神经网络模型。 1.问题 给出对象的特征向量：x={x1,x2,⋯ ,xn}x = \left\{ {x_1 ,x_2 , \cdots ,x_n } \right\}x={x1​,x2​,⋯,xn​} 得到一个预测结果：y^=P{y=1∣x}\hat y = P\left\{ {y = 1|x} \right\}y^​=P{y=1∣x} ▲ Logistic回归模型 2. Logistic回归 首先进
2.21逻辑回归损失函数 误差度量
Captain_DUDU的博客
02-21 962
上面代表单条特征，下面代表多条特征的损失函数 2.误差度量： 准确率：=TP+Tn/（TP+FP+FN+TN） 查准率/精确率=TP/(TP+FP) 举例：抓小偷，务必提高精确率，预测准确，让好人少进来 查全率/召回率=TP/(TP+FN)举例：FN是假阴性：新冠病人用的这个 灵敏度 TPR roc 曲线 X:fpr Y:TPR 围成面积：auc 1.导包2. 拟合数据3....
UCI German Credit 数据集完成logistic回归实战
最新发布
m0_62919535的博客
01-02 3025
Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。Sigmod函数是最常见的logistic函数，因为Sigmod函数的输出的是是对于0~1之间的概率值，当概率大于0.5预测为1，小于0.5预测为0，所以这里会用到它。
【回归分析】logistic regresssion中的拟合优度检验（goodness-of-fit test）
萝卜丝儿皮尔
11-03 1万+
参考资料：【回归分析】台湾交通大学-黄冠华教授 goal : to test how well the used model fits to the observed data. in the linear regression,the coeffient of determination R2R^2R2, which represents the fraction of the total variation of the data explained by the used model, ca
logistic回归_Logistic回归——回归模型评价
weixin_39989875的博客
12-04 2526
在模型创建完成后，我们需要考虑模型的适当性，如模型的拟合优度，预测准确性和模型的检验。1拟合优度评价我们在对模型的拟合优度进行评价时，需要判断模型的预测值与对应的观测值是否具有较高的一致性，如果匹配性较好，就认为这一模型拟合数据，否则，将不接受这一模型，需要对模型重新设置。从这一点上来说，模型的适当性指的就是拟合优度。那么可能就有小伙伴会问了，我们要从哪些角度来判断模型的好坏呢？统计分析中有很多方...
机器学习,模型误差分析,error,bias,variance
小哈的博客
12-15 1544
一、误差来源于偏差bias和方差variance。 偏差和方差是什么呢？如果用打靶举例，存在偏差相当于没选对靶心，存在方差相当于选好了靶心，但是射歪了。偏差决定是否选对靶心，方差决定你射靶很多次的分散程度。如下图所示。
线性回归的损失函数为什么使用最小化均方误差
路过的小阳仔
11-21 8534
最小二乘问题的定义： 没有约束条件，目标函数是若干二次项的和，每一项的形式如aTix−biaiTx−bia_i^Tx - b_i,具体形式如下： minimizef(x)=∑i=1k(aTix−bi)2minimizef(x)=∑i=1k(aiTx−bi)2 minimize \quad f(x) = \sum_{i=1}^{k}(a_i^Tx - b_i)^2 其中，A∈ℜk∗n,a...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值