逻辑 回归

最新推荐文章于 2024-05-28 17:15:54 发布
最新推荐文章于 2024-05-28 17:15:54 发布
阅读量861 收藏 4
点赞数 1
分类专栏： 机器学习 文章标签： 回归 数据挖掘 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46528566/article/details/116694254
版权

逻辑回归

我们之前讲述了线性回归，那么这里面引入逻辑回归，逻辑回归更侧重于数据的分类。
我们在线性回归中所说的无论是一元线性回归，多元线性回归或者是多项式回归，其函数构造成代价函数之后可能是非凸函数，所以使用

在这里插入图片描述

梯度下降法可能会造成求出的是局部最小值。
所以我们在参数回归中所用到的函数是 sigmoid函数，而且是用参数矩阵和sigmoid函数所结合：
在这里插入图片描述
在这里插入图片描述
在图像中我们用0.5作为边界，大于0.5的都可以归到1里面，小于0.5的都可以归于0中，便于分类。

我们想要想到决策边界，就是就数据分成不同类型的边界，这样我们在拥有已知数据时，就可以根据决策边界对未知类别的数据进行分类。例如：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
构造逻辑回归的代价函数，因为根据刚才的图像，我们以0.5为边界线，大于0.5的分到1类，小于0.5的分为0类。所以在逻辑回归中定义的代价函数会有y有0和1两类就有两种。
在这里插入图片描述
图像表示的话就是：
在这里插入图片描述
当y等于0的时候也是一样的。
那么我们构造逻辑回归的代价函数的时候就应该将y=0和y=1两种情况合并在一起，变为：
在这里插入图片描述
这样y=0的时候或者y=1的时候就和分开的一样了，所以我们的逻辑回归代价函数为：在这里插入图片描述
求的含参变量θ就为：
在这里插入图片描述
那么我们之后的重点就是对J(θ)求导的问题了：
在这里插入图片描述
其中：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
求导的时候要记得分布求导，避免少项缺项，之后再用：
在这里插入图片描述
求得含参系数即可。

逻辑回归代价函数的正则化:
在这里插入图片描述
正则化逻辑回归代价函数和之前的正则化线性回归代价函数是一样的，都是在普通代价函数之后添项变成L1或L2正则化。

正确率 召回率 综合评价指标在这里插入图片描述

在这里插入图片描述

就是我们在构造出逻辑回归的模型之后我们可以用于检验我们构造的吻合程度是怎么样的，用于评断我们构造模型的所能达到的程度是多少。

代码部分：

导入包：
import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics import classification_report
from sklearn import preprocessing
# 数据是否需要标准化
scale = True
导入并处理数据：
# 载入数据
data = np.genfromtxt("LR-testSet.csv", delimiter=",")
x_data = data[:,:-1]
y_data = data[:,-1]
    
def plot():
    x0 = []
    x1 = []
    y0 = []
    y1 = []
    # 切分不同类别的数据
    for i in range(len(x_data)):
        if y_data[i]==0:
            x0.append(x_data[i,0])  # 如果数据后面的标记位是0，那么把第一个数据传入x0中，第二个数据传入y0中
            y0.append(x_data[i,1])
        else:
            x1.append(x_data[i,0])  # 如果数据后面的标记位是1，那么把第一个数据传入x1中，第二个数据传入y1中 
            y1.append(x_data[i,1])

    # 画图
    scatter0 = plt.scatter(x0, y0, c='b', marker='o')
    scatter1 = plt.scatter(x1, y1, c='r', marker='x')
    #画图例
    plt.legend(handles=[scatter0,scatter1],labels=['label0','label1'],loc='best')
    
plot()
plt.show()

因为我们的数据都是用0和1在最后做了标注存入了y_data中，就是已经分成了不同的两类，所以我们把不同的类存入不同的数组，最后用不同的颜色将点画出来：
在这里插入图片描述

给数据添加偏置项
# 数据处理，添加偏置项
x_data = data[:,:-1]
y_data = data[:,-1,np.newaxis]

print(np.mat(x_data).shape)
print(np.mat(y_data).shape)
# 给样本添加偏置项
X_data = np.concatenate((np.ones((100,1)),x_data),axis=1)

因为是矩阵运算，就和我们在标准方程法中添加的偏置项一样。

构建各种函数
# 构造sigmoid函数
def sigmoid(x):
    return 1.0/(1+np.exp(-x))

# 逻辑回归的代价函数
def cost(xMat, yMat, ws):
    left = np.multiply(yMat, np.log(sigmoid(xMat*ws)))
    right = np.multiply(1 - yMat, np.log(1 - sigmoid(xMat*ws)))
    return np.sum(left + right) / -(len(xMat))



def gradAscent(xArr, yArr):
    
    if scale == True:
        xArr = preprocessing.scale(xArr)
    xMat = np.mat(xArr)
    yMat = np.mat(yArr)
    
    lr = 0.001
    epochs = 10000
    costList = []
    # 计算数据行列数
    # 行代表数据个数，列代表权值个数
    m,n = np.shape(xMat)
    # 初始化权值
    # ws就相当于公式中的θT
    ws = np.mat(np.ones((n,1)))
    
    for i in range(epochs+1):             
        # xMat和weights矩阵相乘
        h = sigmoid(xMat*ws)   
        # 计算误差
        ws_grad = xMat.T*(h - yMat)/m
        ws = ws - lr*ws_grad 
        
        if i % 50 == 0:
            costList.append(cost(xMat,yMat,ws))
    return ws,costList

# 训练模型，得到权值和cost值的变化
ws,costList = gradAscent(X_data, y_data)
画图：
# 画图 loss值的变化
x = np.linspace(0,10000,201)
plt.plot(x, costList, c='r')
plt.title('Train')
plt.xlabel('Epochs')
plt.ylabel('Cost')
plt.show()
预测
# 预测
def predict(x_data, ws):
    if scale == True:
        x_data = preprocessing.scale(x_data)
    xMat = np.mat(x_data)
    ws = np.mat(ws)
    return [1 if x >= 0.5 else 0 for x in sigmoid(xMat*ws)]

predictions = predict(X_data, ws)

print(classification_report(y_data, predictions))

sklearn实现

导入包
import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics import classification_report
from sklearn import preprocessing
from sklearn import linear_model
# 数据是否需要标准化
scale = False
处理导入数据
# 载入数据
data = np.genfromtxt("LR-testSet.csv", delimiter=",")
x_data = data[:,:-1]
y_data = data[:,-1]
    
def plot():
    x0 = []
    x1 = []
    y0 = []
    y1 = []
    # 切分不同类别的数据
    for i in range(len(x_data)):
        if y_data[i]==0:
            x0.append(x_data[i,0])
            y0.append(x_data[i,1])
        else:
            x1.append(x_data[i,0])
            y1.append(x_data[i,1])

    # 画图
    scatter0 = plt.scatter(x0, y0, c='b', marker='o')
    scatter1 = plt.scatter(x1, y1, c='r', marker='x')
    #画图例
    plt.legend(handles=[scatter0,scatter1],labels=['label0','label1'],loc='best')
    
plot()
plt.show()
构造逻辑回归模型
logistic = linear_model.LogisticRegression()
logistic.fit(x_data, y_data)
图像模型
if scale == False:
    # 画图决策边界
    plot()
    x_test = np.array([[-4],[3]])
    y_test = (-logistic.intercept_ - x_test*logistic.coef_[0][0])/logistic.coef_[0][1]
    plt.plot(x_test, y_test, 'k')
    plt.show()
最后做预测函数
predictions = logistic.predict(x_data)

print(classification_report(y_data, predictions))

非线性逻辑回归：

非线性逻辑回归和线性逻辑回归对比的话，就相当于是线性回归中一元线性回归和多项式回归一样，所以在代码部分只要加上多项式回归中的PolynomialFeatures模型就可以了。

代码部分：

导入包
import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics import classification_report
from sklearn import preprocessing
from sklearn.preprocessing import PolynomialFeatures
# 数据是否需要标准化
scale = False
导入和处理数据
# 载入数据
data = np.genfromtxt("LR-testSet2.txt", delimiter=",")
x_data = data[:,:-1]
y_data = data[:,-1,np.newaxis]
    
def plot():
    x0 = []
    x1 = []
    y0 = []
    y1 = []
    # 切分不同类别的数据
    for i in range(len(x_data)):
        if y_data[i]==0:
            x0.append(x_data[i,0])
            y0.append(x_data[i,1])
        else:
            x1.append(x_data[i,0])
            y1.append(x_data[i,1])

    # 画图
    scatter0 = plt.scatter(x0, y0, c='b', marker='o')
    scatter1 = plt.scatter(x1, y1, c='r', marker='x')
    #画图例
    plt.legend(handles=[scatter0,scatter1],labels=['label0','label1'],loc='best')
    
plot()
plt.show()

在这里插入图片描述

定义多项式回归
# 定义多项式回归,degree的值可以调节多项式的特征
poly_reg  = PolynomialFeatures(degree=3) 
# 特征处理
x_poly = poly_reg.fit_transform(x_data)
构造各种函数
def sigmoid(x):
    return 1.0/(1+np.exp(-x))

def cost(xMat, yMat, ws):
    left = np.multiply(yMat, np.log(sigmoid(xMat*ws)))
    right = np.multiply(1 - yMat, np.log(1 - sigmoid(xMat*ws)))
    return np.sum(left + right) / -(len(xMat))

def gradAscent(xArr, yArr):
    
    if scale == True:
        xArr = preprocessing.scale(xArr)
    xMat = np.mat(xArr)
    yMat = np.mat(yArr)
    
    lr = 0.03
    epochs = 50000
    costList = []
    # 计算数据列数，有几列就有几个权值
    m,n = np.shape(xMat)
    # 初始化权值
    ws = np.mat(np.ones((n,1)))
    
    for i in range(epochs+1):             
        # xMat和weights矩阵相乘
        h = sigmoid(xMat*ws)   
        # 计算误差
        ws_grad = xMat.T*(h - yMat)/m
        ws = ws - lr*ws_grad 
        
        if i % 50 == 0:
            costList.append(cost(xMat,yMat,ws))
    return ws,costList


ws,costList = gradAscent(x_poly, y_data)
画图
# 获取数据值所在的范围
x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))
                  
z = sigmoid(poly_reg.fit_transform(np.c_[xx.ravel(), yy.ravel()]).dot(np.array(ws)))# ravel与flatten类似，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
for i in range(len(z)):
    if z[i] > 0.5:
        z[i] = 1
    else:
        z[i] = 0
z = z.reshape(xx.shape)

# 等高线图
cs = plt.contourf(xx, yy, z)
plot() 
plt.show()

在这里插入图片描述
对于画图，需要注意的点是：

获取数据值所在的范围

x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

生成网格矩阵

xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),np.arange(y_min, y_max, 0.02))

首先获得x坐标的上下限，y的上下限，那么这样根据xy的上下限就可以确定出一个网格为，np.meshgrid生成网格矩阵最后一个参数控制网格距离的大小。加入是0.2的话：
在这里插入图片描述
换成0.02的话：
在这里插入图片描述

 np.r_按row来组合array， 
 np.c_按colunm来组合array
 >>> a = np.array([1,2,3])
 >>> b = np.array([5,2,5])
 >>> np.r_[a,b]
 array([1, 2, 3, 5, 2, 5])
 >>> np.c_[a,b]
 array([[1, 5],
        [2, 2],
        [3, 5]])
 >>> np.c_[a,[0,0,0],b]
 array([[1, 0, 5],
        [2, 0, 2],
       [3, 0, 5]])
预测
# 预测
def predict(x_data, ws):
#     if scale == True:
#         x_data = preprocessing.scale(x_data)
    xMat = np.mat(x_data)
    ws = np.mat(ws)
    return [1 if x >= 0.5 else 0 for x in sigmoid(xMat*ws)]

predictions = predict(x_poly, ws)

print(classification_report(y_data, predictions))
YJCHENF
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
逻辑回归(使用激活函数sigmoid)详细介绍
这里是Mae。
03-16 4826
逻辑回归(使用激活函数sigmod)详细介绍
Sigmoid函数与逻辑回归
qq_38638132的博客
05-07 6871
文章目录(1). Sigmoid函数的由来——伯努利分布的衍生物1.1 为什么会有 sigmoid 函数的出现？1.2 sigmoid 函数推导过程1.3 sigmoid 函数求导(2). 逻辑回归（Logistic Regression）2.1 逻辑回归算法的最终本质——求决策边界2.2 逻辑回归算法中的重要组成部分 (1). Sigmoid函数的由来——伯努利分布的衍生物 1.1 为什么会有 ...
用自己的数据拟合Sigmoid函数（Matlab平台）
weixin_48752513的博客
07-18 1167
【代码】用自己的数据拟合Sigmoid函数（Matlab平台）
逻辑回归（Logistic Regression）
最新发布
智能2212-45-杨豪
05-28 711
逻辑回归是一种广泛使用的统计方法，用于预测二元结果（是/否、成功/失败、阳性/阴性等）。尽管其名称包含“回归”，但逻辑回归实际上是一种分类方法，而不是回归方法。逻辑回归使用sigmoid函数将线性回归的输出映射到0和1之间的概率。sigmoid函数定义为：其中，z 是特征的线性组合，可以通过以下公式计算：在这个公式中，是特征变量，而是模型参数。逻辑函数是一种非常重要和实用的函数，它提供了一种简单而有效的方法来处理概率估计和二分类问题。
【机器学习】逻辑回归（Logistic Regression）（理论+图解+公式推导+代码实现）
CSDN 精品推荐
08-13 3844
文章目录一、概述二、逻辑回归是什么1.概述2.逻辑回归的原理2.1 sigmoid概率映射2.2 概率计算2.3 极大似然估计3.逻辑回归的本质4.损失函数5.权值求解三、正则项1.概述2.L1正则项3.L2正则项 欢迎回到机器学习编程系列。在这篇文章中，我们将通过MindSpore的来简单的搭建最简单的线性回归。废话不多说，我们开始吧。 一、概述 对于我们的机器学习算法来说，一般有分类模型、回归模型等，对于分类模型又分为线性模型和非线性模型，那么什么是线性模型和非线性模型呢？ 如果对于一维变量来说，y=
逻辑回归、激活函数sigmoid、损失及优化、案例代码实现
我的个人博客
12-23 2391
逻辑回归概念及原理，激活函数sigmoid函数，损失以及优化，逻辑回归API，sklearn.linear_model.LogisticRegression，良／恶性乳腺癌肿瘤分类预测案例代码实现
逻辑回归拟合的MATLAB代码（数据完整，）
10-30
逻辑回归是一种广泛应用的统计分析方法，常用于分类问题，尤其是二分类问题。它通过构建一个非线性函数，即sigmoid函数，将输入特征映射到0到1之间，表示为事件发生的概率。在MATLAB中，我们可以使用内置的函数或者...
使用python编写的基于逻辑回归的文本分类
01-17
在本示例中，我们看到一个使用Python进行文本分类的案例，主要依赖于逻辑回归算法。文本分类是自然语言处理中的一个关键任务，它涉及将文本数据分配到预定义的类别中。在这个例子中，作者使用了电影评论数据集，这...
逻辑回归临床预测模型lasso回归变量筛选roc曲线定制Delong检验
10-10
在医疗数据分析和预测领域，逻辑回归是一种广泛应用的统计方法，用于建立临床预测模型。本主题主要探讨了如何利用逻辑回归配合LASSO（Least Absolute Shrinkage and Selection Operator）回归进行变量筛选，以及如何...
ML 逻辑回归
05-30
**逻辑回归（Logistic Regression）**是机器学习领域中一种广泛应用的分类算法，尤其适合处理二分类问题。它虽然名字中含有“回归”，但实际上是一种概率型的分类方法，能够预测一个事件发生的可能性。在理解逻辑...
实验一_逻辑回归1
08-03
介绍：在本练习中，您将实现逻辑回归，并将其应用于两个不同的数据集。实验文件说明：ex2.py - 可以帮助您逐步完成练习的 Python 脚本mapFeatur
基于 Sigmoid函数拟合的亚像素边缘检测方法
12-16
亚像素边缘检测技术是采用图像处理软件算法来提高检测精度的有效途径, 文中对矩法、拟合法和插值法等常用的亚像素边缘检测算法的原理、优点和不足进行了分析 ,提出了Sigmoid函数拟合的亚像素边缘定位算法.该算法采用 Sigmoid函数拟合边缘模型,利用图像边缘灰度信息对模型进行非线性最小二乘拟合 , 求得边缘的亚像素位置 .理论分析和实验结果表明 , 基于 Sigmoid函数拟合的亚像素边缘定位算法的定位精度为 0.045像素 ,但检测的速度比灰度矩提高了一个数量级 ,比空间矩 、Zernike矩和插值法提高了两个数量级 .此算法能较好地满足影像测量的稳定可靠 、高精度及强实时性要求。
python函数拟合不规则曲线,使用Python将S型函数（S形曲线）拟合到数据
weixin_39796363的博客
11-23 2415
I'm trying to fit a sigmoid function to some data I have but I keep getting:ValueError: Unable to determine number of fit parameters.My data looks like this:My code is:from scipy.optimize import curve...
机器学习实验1 - 多项式曲线拟合
qq_34073852的博客
10-11 3376
一、实验要求 1. 生成数据，加入噪声； 2. 用高阶多项式函数拟合曲线； 3. 用解析解求解两种loss的最优解（无正则项和有正则项） 4. 优化方法求解最优解（梯度下降，共轭梯度）； 5. 用你得到的实验数据，解释过拟合。 6. 用不同数据量，不同超参数，不同的多项式阶数，比较实验效果。 7. 语言不限，可以用matlab，python。 求解解析解时可以利用现成的矩阵求逆。梯度下降，共轭梯度要求自己求梯度，迭代优化自己写。不许用现成的平台，例如pytorch，tensorflow的自动
可视化逻辑回归最佳拟合直线
weixin_41857483的博客
10-31 1220
前言 在上一篇博客中，逻辑回归的最佳回归系数做了说明，也通过代码来实现了怎么求解最佳回归系数。下面希望用可视化的方式来进一步理解这个算法。 画决策边界 因为逻辑回归常常是解决二分类的问题，所以我们画的决策边界，说得通俗一点就是用一条直线来将不同的类别分割开来。 ...
逻辑回归原理详解-附案例及源码（一）
qq_42928743的博客
10-04 2624
对逻辑回归涉及数学基础进行讲解
逻辑回归（Logistic Regression）的过程
鄙人张钊_有何贵干的博客
11-02 3863
首先简要说明一下什么是回归。即我们有一些数据点，我们用一条线去对这些点进行拟合，这个拟合的过程就是回归。（即我们在坐标系中去找一条线，使得这条线尽最大可能地串联这些已知的数据点，如果无法串联则尽量靠近这些已知点。此外，还有一些未知点，但这些未知点和已知点符合某种不为人知的相同规律，我们的线不仅仅要尽量串联已知点，还要保证这条线，将来在预测未知点方面也有良好的效果。） 逻辑回归（Logistic Regression）就是在用回归的思想去处理分类的问题。逻辑回归在功能上是做二分类的问题（实际上二分类问题可以
机器学习-逻辑回归分析（Python）
热门推荐
MsSpark的博客
11-12 3万+
前言 回归和分类方法是机器学习中经常用到的方法，本文首先介绍这两种方法的区别和联系，然后对分类方法中的逻辑回归进行较详细的说明（包括其基本原理及评估指标），最后结合案例介绍如何利用Python进行逻辑回归分析。 一、分类与回归 1.1什么是分类和回归 区分回归问题和分类问题： 回归问题：输入变量和输出变量均为连续变量的问题； 分类问题：输出变量为有限个离散变量的问题。 因此分类及回归分别...
面向就业的逻辑回归深度解析
"这篇资源是一份关于逻辑回归的个人学习笔记，主要面向正在寻找实习或工作的读者，旨在帮助他们理解和掌握这一重要的机器学习算法。笔记首先介绍了线性回归作为逻辑回归的基础，然后深入探讨了逻辑回归的核心概念和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值