机器学习(超详细讲解)：利用Logistic Regression(逻辑回归)实现多分类

最新推荐文章于 2024-08-14 03:30:00 发布
最新推荐文章于 2024-08-14 03:30:00 发布
阅读量1.5w 收藏 140
点赞数 14
文章标签： 机器学习 人工智能 逻辑回归 python 分类算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44350242/article/details/112372860
版权

机器学习：利用Logistic Regression(逻辑回归)实现多分类

文章目录


本文章利用逻辑回归来实现多分类问题，对于大部分数据集，其准确率可以达到90%以上。
源代码和数据集点此

1.Logistic Regression的引入

​ 在介绍Logistic Regression(对数几率回归)之前，我们先来介绍Liner Regression(线性回归)，简单的来说，线性回归的目标就是要寻找合适的W和B使得式1.1的误差最小。对于误差，我们可以使用损失函数来衡量。对于W和B的寻找，我们可以使用牛顿迭代法，梯度下降法等，后面我们将重点介绍梯度下降法。
Z = W T X + B Z=W^TX+B Z=WTX+B
​ 对于Logistic Regression而言，我们要完成二分类任务，实际上就是要在线性模型输出的基础上，将输出Z映射到两个区域内，比如我们可以将输出映射为数字 0 或 1，那么我们就可以将输出为 0 的作为一类，输出为 1 的作为另一类，这样就完成了二分类任务。那么我们应该选择什么样的函数作为Z的映射函数呢？最简单的我们可以选择单调越阶函数：
单调越阶函数

​ 当线性模型输出Z<0时，将其映射为 0 ；当输出Z>0时，将其映射为 1；输出Z=0时不做处理。但是单调越阶函数的数学性质并不好(譬如单调性，连续性，可导性等)。故我们选择Sigmoid函数作为映射函数，Sigmoid函数具有非常好的数学性质。

Sigmoid函数

2.损失函数

​ 谈到机器学习，首要目标是要确定损失函数，对于Logistic Regression，我们选用如下式子作为损失函数( y ^ \hat{y} y^​为推测值， y {y} y为实际值)：
损失函数

​ 我们不难发现当实际值 y {y} y 为 0 时，推测值 y ^ \hat{y} y^​ 越接近真实值 0 ，函数L的值越小；当实际值 y {y} y为 1 时，推测值 y ^ \hat{y} y^​越接近真实值1，函数L的值越小。由此可见，函数L可以作为损失函数。

3.梯度下降法

​ 梯度下降法的目标是寻找函数的最小值。其本质为不断调整参数 x 使得代价函数 f (x) 取得最小值。从直观上理解，就是在碗状结构的凸函数上取一个初始值，然后挪动这个值一步步靠近最低点的过程。从数学上理解，为了找到最小值点，就应该朝着下降速度最快的方向(导函数/偏导方向)迈进，每次迈进一小步，再看看此时的下降最快方向是哪，再朝着这个方向迈进，直至最低点。

​梯度下降

​ 对于函数上的某一点而言，导函数/偏导数的方向为其下降最快的方向，故我们每次向导函数的方向迈出一小步，至于这一步有多小取决于我们设定的学习率 α \alpha α。

4.参数更新

​ 确定损失函数后，我们就要思考如何利用损失函数来更行优化参数值W和B，损失函数本质上是随着W和B变化的函数：

在这里插入图片描述

​ 现在我们的问题转化为寻找合适的w和b，使得函数L(w,b)的值最小，这就将问题转化为一个二元函数的最小值问题了，对于二元函数的最小值问题，我们采用已经介绍过的梯度下降法，于是我们可以得到参数更新公式：

在这里插入图片描述

​ 对于上诉式子作进一步推导：

在这里插入图片描述

​ 于是参数更新公式变成：

在这里插入图片描述

​ 即下一次的参数 = 上一次的参数 减去 学习率 x 输入 x 误差

​ 至此，我们可以利用上诉结论来实战操作

5 多分类器介绍

​ 已经介绍了如何通过Logistic Regression进行二分类，但我们的目标是解决多分类问题，自然而然，想到用多个二分类器去构建多分类器。在构建多分类模型时，我们介绍两种方法，一对一策略（OvO）和一对其余策略（OvR），在Python实战中，我们将用到OvO。
在这里插入图片描述

5.1 一对一分类器(OvO）

​ 对于OvO策略，我们将训练样本中的 N 个类别两两配对，从而产生 N(N-1)/2 个分类任务(如上图左所示)。我们每次拿其中的两类去训练一个分类器，最终将训练出 N(N-1)/2 个分类器。当预测一组数据时，分别用这 N(N-1)/2个分类器进行预测，最终的结果为所有预测结果中最多的那一个(即投票选出结果)。

5.1 一对其余分类器(OvR)

​ 对于OvR策略，枚举每一种类别，将枚举到的类别作为正例而其他的统一作为反例，这样只需要训练 N N N 个分类器(如上图右所示)。当预测一组数据时，分别用这 N N N 个分类器进行预测，选取结果为正例 (只可能有一个为正例) 的类别作为最终结果。

6 Python实战(Iris数据集准确率93%)

源代码和数据集点此

6.1 读取数据集(划分训练集和测试集)

def getdata():
    # 读取数据集 并且把数据集分为测试集和训练集,奇数项为测试集，偶数项为训练集
    dataSet = []
    labels = []
    f = open('watermelon_3a.csv')
    flag = 1  # 设置flag来跳过第一行
    for line in f.readlines():
        if(flag == 1):
            flag = 0
            continue
        str_data = line.strip().split(",")[1:]
        labels.append(str_data[-1])
        for k in range(len(str_data)-1):
            str_data[k] = float(str_data[k])
        str_data.insert(0, 1.0)
        dataSet.append(str_data)
    train_data = []
    test_data = []
    train_label = []
    dataset = dataSet
    # 归一化处理优点：1.加快求解速度 2.可能提高精度
    for j in range(1, len(dataset[0])-1):
        l_sum = 0
        all_sum = 0
        for i in range(len(dataset)):
            l_sum += dataset[i][j]
        # 计算期望
        average = l_sum/len(dataset)
        # 计算标准差
        for i in range(len(dataset)):
            all_sum += pow(dataset[i][j]-average, 2)
        standard_deviation = math.sqrt(all_sum/(len(dataset)-1))
        # 对每列数据进行归一化,减均值，除方差
        for i in range(len(dataset)):
            dataset[i][j] = (dataset[i][j]-average)/standard_deviation
    for i in range(len(dataSet)):
        if i % 2 == 0:
            train_data.append(dataSet[i])
            train_label.append(labels[i])
        else:
            test_data.append(dataSet[i])
       #返回参数中，dataSet为全部数据，便于西瓜数据集画图，train_data为训练集，test_data为数据集
    return dataSet, labels,  train_data, test_data, train_label

6.2 二分类任务

def get_weight(data, label):
    matrix_data = mat(data)  # m行n列
    matrix_label = mat(label).transpose()  # m行
    m, n = shape(matrix_data)
    learn_rate = 0.00001  # 学习率
    max_cycles = 60000  # 迭代次数
    weights = ones((n, 1))  # 初始化权值矩阵
    # 利用梯度下降法进行权重更新
    for k in range(max_cycles):
        estimate_result = sigmoid(matrix_data*weights)
        error = matrix_label-estimate_result
        weights = weights+learn_rate*matrix_data.transpose()*error
    return weights

6.3 采用OVO方式训练多分类器

​ 最 终 的 训 练 结 果 形 式 ： [ [ 分 类 器 1 ] , [ 分 类 器 2 ] , [ 分 类 器 3 ] . . . ] 最终的训练结果形式：[ [分类器1],[分类器2],[分类器3]...] 最终的训练结果形式：[[分类器1],[分类器2],[分类器3]...]

def train_model(data, labels):
    # 最终的训练结果形式：[ [分类器1],[分类器2],[分类器3]...]
    # 把第i类作为正类，其他作为负类
    result_weight = []
    uniqueVals = list(set(labels))
    for i in range(len(uniqueVals)):
        for k in range(i+1, len(uniqueVals)):
            train_data = []
            train_label = []
            for j in range(len(data)):
                if(data[j][-1] == uniqueVals[i]):
                    train_label.append(1.0)
                    train_data.append(data[j][:-1])
                elif(data[j][-1] == uniqueVals[k]):
                    train_label.append(0.0)
                    train_data.append(data[j][:-1])
            re = get_weight(train_data, train_label).tolist()
            re.append(uniqueVals[i])
            re.append(uniqueVals[k])
            result_weight.append(re)
    return result_weight

6.4 测试模型准确率

def predict(pre_data, result_weight, label):
    pre_data = mat(pre_data)
    uniqueVals = list(set(label))
    result = []
    for i in range(len(result_weight)):
        estimate_result = sigmoid(pre_data*mat(result_weight[i][:-2]))
        if(estimate_result >= 0.5):
            # 正例
            result.append(result_weight[i][-2])
        else:
            # 反例
            result.append(result_weight[i][-1])
    return get_mostfeature(result)
def test_rate(test_data):
    postive = 0
    total = len(test_data)
    for i in range(total):
        pre_data = test_data[i][:-1]
        result = predict(pre_data, result_weight, train_label)
        if(result == test_data[i][-1]):
            postive = postive+1
    return postive/total

7.完整代码

import matplotlib.pyplot as plt
import numpy as np
import time
from numpy import *
# 定义sigmoid函数
def sigmoid(n):
    return 1.0/(1+exp(-n))

def getdata():
    # 读取数据集 并且把数据集分为测试集和训练集，奇数项为测试集，偶数项为训练集
    dataSet = []
    labels = []
    f = open('watermelon_3a.csv')
    flag = 1  # 设置flag来跳过第一行
    for line in f.readlines():
        if(flag == 1):
            flag = 0
            continue
        str_data = line.strip().split(",")[1:]
        labels.append(str_data[-1])
        for k in range(len(str_data)-1):
            str_data[k] = float(str_data[k])
        str_data.insert(0, 1.0)
        dataSet.append(str_data)
    train_data = []
    test_data = []
    train_label = []
    dataset = dataSet
    # 归一化处理优点：1.加快求解速度 2.可能提高精度
    for j in range(1, len(dataset[0])-1):
        l_sum = 0
        all_sum = 0
        for i in range(len(dataset)):
            l_sum += dataset[i][j]
        # 计算期望
        average = l_sum/len(dataset)
        # 计算标准差
        for i in range(len(dataset)):
            all_sum += pow(dataset[i][j]-average, 2)
        standard_deviation = math.sqrt(all_sum/(len(dataset)-1))
        # 对每列数据进行归一化,减均值，除方差
        for i in range(len(dataset)):
            dataset[i][j] = (dataset[i][j]-average)/standard_deviation
    for i in range(len(dataSet)):
        if i % 2 == 0:
            train_data.append(dataSet[i])
            train_label.append(labels[i])
        else:
            test_data.append(dataSet[i])
       #返回参数中，dataSet为全部数据，便于西瓜数据集画图，train_data为训练集，test_data为数据集
    return dataSet, labels,  train_data, test_data, train_label


def get_mostfeature(lt):
    index1 = 0  # 记录出现次数最多的元素下标
    max = 0  # 记录最大的元素出现次数
    for i in range(len(lt)):
        flag = 0  # 记录每一个元素出现的次数
        for j in range(i+1, len(lt)):  # 遍历i之后的元素下标
            if lt[j] == lt[i]:
                flag += 1  # 每当发现与自己相同的元素，flag+1
        if flag > max:  # 如果此时元素出现的次数大于最大值，记录此时元素的下标
            max = flag
            index1 = i
    return lt[index1]


def get_weight(data, label):
    matrix_data = mat(data)  # m行n列
    matrix_label = mat(label).transpose()  # m行
    m, n = shape(matrix_data)
    learn_rate = 0.00001  # 学习率
    max_cycles = 60000  # 迭代次数
    weights = ones((n, 1))  # 初始化权值矩阵
    # 利用梯度下降法进行权重更新
    for k in range(max_cycles):
        estimate_result = sigmoid(matrix_data*weights)
        error = matrix_label-estimate_result
        weights = weights+learn_rate*matrix_data.transpose()*error
    return weights


# 训练分类器
def train_model(data, labels):
    # 把第i类作为正类，其他作为负类
    result_weight = []
    uniqueVals = list(set(labels))
    for i in range(len(uniqueVals)):
        for k in range(i+1, len(uniqueVals)):
            train_data = []
            train_label = []
            for j in range(len(data)):
                if(data[j][-1] == uniqueVals[i]):
                    train_label.append(1.0)
                    train_data.append(data[j][:-1])
                elif(data[j][-1] == uniqueVals[k]):
                    train_label.append(0.0)
                    train_data.append(data[j][:-1])
            re = get_weight(train_data, train_label).tolist()

            re.append(uniqueVals[i])
            re.append(uniqueVals[k])

            result_weight.append(re)

    return result_weight


def predict(pre_data, result_weight, label):
    pre_data = mat(pre_data)
    uniqueVals = list(set(label))
    result = []
    for i in range(len(result_weight)):
        estimate_result = sigmoid(pre_data*mat(result_weight[i][:-2]))
        if(estimate_result >= 0.5):
            # 正例
            result.append(result_weight[i][-2])
        else:
            # 反例
            result.append(result_weight[i][-1])
    return get_mostfeature(result)


def test_rate(test_data):
    postive = 0
    total = len(test_data)
    for i in range(total):
        pre_data = test_data[i][:-1]
        result = predict(pre_data, result_weight, train_label)
        if(result == test_data[i][-1]):
            postive = postive+1
    return postive/total

print("开始时间:", time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
# 获取训练集
all_data, all_labels, train_data, test_data, train_label = getdata()
print("训练中...")
# 训练模型
result_weight = train_model(train_data, train_label)
print("训练成功！训练结果为：", result_weight)
print("正在测试准确率...")
# 预测
rate = test_rate(test_data)
print("准确率:", rate)
ticks2 = time.time()
print("结束时间:", time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))


'''
#画图，只有西瓜数据集（二维）才能画图，大于二维的数据集不能画图
weights = train_model(all_data, all_labels)
data_arr=array(all_data)
p=shape(data_arr)[0]
#print(p)
x1=[]
y1=[]
x2=[]
y2=[]
for i in range(p):
    if int(all_labels[i])==1:
        x1.append(float(data_arr[i,1]))
        y1.append(float(data_arr[i,2]))
    else:
        x2.append(float(data_arr[i,1]))
        y2.append(float(data_arr[i,2]))        
fig=plt.figure()
ax=fig.add_subplot(111)
ax.scatter(x1,y1,s=30,c='red',marker='s')
ax.scatter(x2,y2,s=30,c='green')
x=arange(-1.5,1.5,0.1)
# print(x)
y=(-weights[0][0][0]-weights[0][1][0]*x)/weights[0][2][0]
ax.plot(x,y)
plt.show()
'''
我有一个梦想！
关注
机器学习 | 逻辑回归如何实现多分类
05-11 3168
若所有类别之间有明显的互斥则使用softmax分类器,若所有类别不互斥有交叉的情况则构造相应类别个数的逻辑回归分类器。
Python:实现logistic regression逻辑回归算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
07-29 807
Python:实现logistic regression逻辑回归算法(附完整源码)
机器学习——逻辑回归logistic实现二分类（matlab）
09-20
输入：特征和标签->模型->回归系数->预测：分类结果 功能：逻辑回归实现二分类
Logistic Regression（逻辑回归）模型实现二分类和多分类
热门推荐
u011734144的专栏
03-27 8万+
版权声明：本文为原创文章：http://blog.csdn.net/programmer_wei/article/details/52072939Logistic Regression（逻辑回归）是机器学习中一个非常非常常见的模型，在实际生产环境中也常常被使用，是一种经典的分类模型（不是回归模型）。本文主要介绍了Logistic Regression（逻辑回归）模型的原理以及参数估计、公式推导方法...
【人工智能】机器学习、分类问题和逻辑回归的基本概念、步骤、特点以及多分类问题的处理方法
最新发布
weixin_51306394的博客
08-14 1157
机器学习、分类问题和逻辑回归的基本概念、步骤、特点以及多分类问题的处理方法
logistic regression实现多类别分类的实现数据集
06-08
logistic regression实现多类别分类的实现数据集的源数据
[机器学习-原理与实践]逻辑回归(LogisticRegression)多分类(OvR, OvO, MvM）
Harry的博客
07-02 8966
这里写目录标题前言One-VS-RestOne-Vs-One实践案例总结 前言 逻辑回归分类器（Logistic Regression Classifier）是机器学习领域著名的分类模型。其常用于解决二分类（Binary Classification）问题。 One-VS-Rest 假设我们要解决一个分类问题，该分类问题有三个类别，分别用△，□和×表示，每个实例（Entity）有两个属性（Attribute），如果把属性 1 作为 X 轴，属性 2 作为 Y 轴，训练集（Training Dataset）的
【教程】逻辑回归怎么做多分类
wwcsd2018001的博客
12-07 3450
逻辑回归模型是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。它与多重线性回归有很多相同之处，模型形式基本相同，都具有w'x+b，其中w和b是待求参数。重线性回归直接将w'x+b作为因变量即y =w'x+b，而逻辑回归则通过sigmiod函数将w'x+b对应一个概率P，也就是说，线性回归用于数值预测问题，而逻辑回归则用于分类问题，逻辑回归输出的是属于类别的概率。
多分类逻辑回归（Multinomial Logistic Regression）
Thinkgamer博客
12-22 5万+
前言 分类从结果的数量上可以简单的划分为： 二分类（Binary Classification） 多分类（Multinomial Classification）。 其中二分类是最常见且使用最多的分类场景，解决二分类的算法有很多，比如： 基本的KNN、贝叶斯、SVM Online Ranking中用来做二分类的包括FM、FFM、GBDT、LR、XGBoost等 多分类中比如： 改进版...
Logistic回归，多类分类
qq_40008456的博客
05-31 2630
1对其他（One-vs-Rest,OvR）： 对每个类别c，训练一个Logistic回归分类器，预测y=c概率 对新的输入x，选择使得最大的类别作为预测（最大后验估计，MAP）： 多项分布 在概率分布中，贝努利（Bernoulli）分布的输出只有两种取值。 Multinoulli分布，或称为范畴分布（categorical distribution），输出有K种取值。 类...
机器学习：基于逻辑回归（Logistic Regression）对股票客户流失预测分析
阿极的博客
04-24 6836
逻辑回归（Logistic Regression）是一种二分类的监督学习算法，用于预测样本的概率属于某一类别的概率。相比于线性回归，逻辑回归可以更好地处理分类问题。
matlab实现的多分类逻辑回归
06-22
matlab实现的多分类逻辑回归，用于手写数字识别
ex2-logistic regression_逻辑回归_机器学习_
10-02
逻辑回归（Logistic Regression）是一种广泛应用的分类算法，尽管它的名字中含有“回归”，但实际上它主要用于处理二分类问题，也可以通过扩展处理多分类问题。在机器学习领域，逻辑回归是一种基础且重要的监督学习...
机器学习之逻辑回归（LogisticRegression）
01-27
**机器学习之逻辑回归（Logistic Regression）** 逻辑回归是一种广泛应用的分类算法，尤其适合处理二分类问题。在机器学习中，我们经常遇到各种分类问题，例如垃圾邮件检测、欺诈交易识别、疾病诊断等。这些问题的...
【逻辑回归实现多分类】
武帝为此的博客
06-28 910
OvR适用于类别数量较少且数据平衡的情况，OvO适用于类别较多的复杂问题，而MvM提供了一种直接对多个类别进行建模的方法，尤其适用于类别之间存在内在顺序或关联的情况。在OvR方法中，对于有N个类别的分类问题，我们训练N个不同的二分类逻辑回归模型。多对多方法，也称为Softmax回归或多项式逻辑回归，是逻辑回归的直接扩展，用于处理多类分类问题。在预测时，给定一个输入样本，模型会计算每个类别的分数，然后应用Softmax函数来估计属于每个类别的概率，最终选择概率最高的类别。是输入特征与权重的线性组合，
二、回归——logistic regression实现多类别分类的实现
Nicole的博客
06-08 9817
一、one-Versus-All，OVA方法      一对所有（one-Versus-All，OVA），给定m个类，训练m个二元分类器(将选取任意一类，再将其它所有类看成是一类，构建一个两类分类器)。分类器j使类j的元组为正类，其余为负类，进行训练。为了对未知元组X进行分类，分类器作为一个组合分类器投票。例如，如果分类器j预测X为正类，则类j得到一票。如果他测得X为正类，则类j得到一票。如果测...
Deep learning：十三(Softmax Regression)
weixin_33735077的博客
03-22 189
  　　在前面的logistic regression博文Deep learning：四(logistic regression练习) 中，我们知道logistic regression很适合做一些非线性方面的分类问题，不过它只适合处理二分类的问题，且在给出分类结果时还会给出结果的概率。那么如果需要用类似的方法（这里类似的方法指的是输出分类结果并且给出概率值）来处理多分类问题的话该怎么扩展呢？本...
LogisticRegression 多分类实例
bo_hai的专栏
10-09 1390
import pandas as pd from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt import plotly.graph_objs as go from plotly.offline import init_notebook_mode, iplot init_notebook_m
机器学习笔记（四）---- 逻辑回归的多分类
华为云官方博客
09-24 4631
一般情况下，我们都认为逻辑回归（LR）用来解决二分类问题，模型输出是y=1的概率值。那逻辑回归能否用来做多分类任务呢，答案是肯定的。 这里有两种方法使得逻辑回归能进行多分类任务： 一、将多分类任务拆解成多个二分类任务，利用逻辑回归分类器进行投票求解； 二、对传统的逻辑回归模型进行改造，使之变为softmax回归模型进行多分类任务求解 -- 多...
机器学习logisticregression
07-16
### 回答1： 机器学习中的逻辑回归（Logistic Regression）是一种用于分类问题的监督学习算法。它被广泛应用于各种领域，如金融、医疗、社交网络等。 逻辑回归的基本原理是利用一个线性模型，将输入特征与输出结果之间的关系进行建模。然后通过在线性模型的基础上引入一个逻辑函数（sigmoid函数），将输出结果映射到一个概率值。 具体来说，逻辑回归算法通过对训练数据进行学习，估计出模型的参数，使得模型能够对新的输入样本进行分类预测。在训练过程中，逻辑回归通过最大化似然函数的方法来估计模型的参数。常用的优化算法有梯度下降法、牛顿法等。 逻辑回归的一个重要应用是二分类问题，其中输出结果只有两个类别。通过设置一个阈值，将模型输出的概率值映射为两个类别中的一个。 逻辑回归的优点包括简单、可解释性强、计算效率高。同时，逻辑回归对于处理大规模数据集和高维数据也具有较好的适应性。然而，逻辑回归也有一些不足之处，例如无法处理非线性关系以及对异常值比较敏感。 总之，逻辑回归是一种经典的机器学习算法，既简单又有效。它在各种分类问题中得到了广泛应用，并且在实际应用中表现良好。 ### 回答2： 机器学习中的逻辑回归（Logistic Regression）是一种常用的分类算法。它通过建立一个逻辑回归模型，将输入的特征与相应的类别进行关联。 逻辑回归可以处理二分类问题，也可以通过修改为多类别问题进行处理。它的核心思想是使用逻辑函数（也称为Sigmoid函数）将线性回归模型的输出映射到[0,1]之间，从而得到样本属于某个类别的概率。 逻辑回归的训练过程主要包括两个步骤：参数初始化和优化。参数初始化就是设置模型的初始权重和偏置，然后通过最优化算法（如梯度下降法）来迭代地更新参数，使得模型的损失函数最小化。 逻辑回归的优势在于它计算速度快、实现简单，且对大规模数据集的处理效果较好。它能够处理线性可分问题，并且可以通过引入正则化技术来防止过拟合。 然而，逻辑回归也有一些限制。由于它是基于线性模型的，对于非线性关系的分类问题，逻辑回归可能无法很好地适应。此外，逻辑回归对特征的选择和预处理较为敏感，需要进行适当的特征工程。 总的来说，逻辑回归是一种简单且有效的分类算法，特别适用于二分类问题。尽管有其局限性，但在实际应用中，逻辑回归仍然被广泛使用，并且可以作为其他更复杂模型的基础。 ### 回答3： 机器学习中的逻辑回归（logistic regression）是一种用于分类问题的机器学习算法。逻辑回归被广泛应用于各个领域，如医学诊断、金融风险评估、文本分类等。 逻辑回归的基本思想是通过对输入变量和输出变量之间的关系进行建模来进行分类。它用到了一个逻辑函数（logistic function），将输入变量的线性组合映射到0和1之间的概率值。逻辑函数通常是sigmoid函数，常用的形式是1 / （1 + exp（-z）），其中z是输入变量的线性组合。 训练逻辑回归模型的过程是通过最大似然估计来拟合模型参数。最大似然估计的目标是找到能最大化观测到的样本的条件概率的参数。为了实现这一点，通常使用梯度下降法来最小化损失函数。损失函数可以是似然函数的负对数，即对数损失函数。 逻辑回归有一些优点。首先，它是一种简单而直观的模型，易于理解和实现。其次，逻辑回归模型的参数可以通过梯度下降等优化算法进行有效求解。此外，逻辑回归模型具有较好的解释性，可以通过参数的符号和大小了解自变量与因变量的关系。 然而，逻辑回归也有一些限制。首先，它通常只适用于处理线性可分的问题。其次，逻辑回归模型对于特征之间的相关性比较敏感，如果特征之间具有高度相关性，可能导致模型出现过拟合现象。此外，逻辑回归模型的输出是概率值，对于某些任务可能不够精确。 总之，逻辑回归是一种常用的机器学习算法，用于解决分类问题。其简单而直观的思想和容易求解的特点使其在实际应用中非常有用。但需要注意逻辑回归的局限性，并结合具体问题选择合适的模型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值