AI5 使用梯度下降对逻辑回归进行训练

最新推荐文章于 2024-09-20 18:05:37 发布

吃口煎饼果子

最新推荐文章于 2024-09-20 18:05:37 发布

阅读量241

点赞数

文章标签：逻辑回归机器学习 python

本文链接：https://blog.csdn.net/kling_bling/article/details/126365066

版权

本文详细介绍了逻辑回归模型的基础原理，包括使用极大似然和梯度下降法进行参数优化的过程。通过Python代码实现sigmoid函数和gradientDescent函数，展示了如何从csv数据集中读取并训练逻辑回归模型。

摘要由CSDN通过智能技术生成

描述

逻辑回归是机器学习领域中被广泛使用的经典模型。理解和正确使用逻辑回归对于机器学习的实际应用至关重要。逻辑回归通常使用极大似然的思想构建损失函数，并且在此基础上使用梯度下降进行求解。通过求解极大似然思想表示的逻辑回归损失函数对于参数 θ的梯度，可以得到参数的更新公式为：，其中

，请根据上述给定的信息完成接下来的代码补全。

从当前路径下读取数据集dataSet.csv、labels.csv，使用梯度下降的思想训练逻辑回归模型进行训练，需要实现 sigmoid 函数和 gradientDescent 函数。其中，sigmoid 函数只需给出基本的数学实现，gradientDescent 函数的入参是训练数据矩阵 dataMatIn 和 classLabels，其格式均为 np.matrix，matrix 中的特征有3 维度，因此返回值为经过迭代以后的参数矩阵，要求格式为 np.matrix 格式，维度为 3 * 1，分别代表了每一维特征的权重。

其中dataSet.csv示例数据如下：

import numpy as np
import pandas as pd


def generate_data():
    datasets = pd.read_csv('dataSet.csv', header=None).values.tolist()
    labels = pd.read_csv('labels.csv', header=None).values.tolist()
    return datasets, labels


def sigmoid(X):


# 补全 sigmoid 函数功能
# code start here
  return 1.0/(1+np.exp(-X))
# code end here
def gradientDescent(dataMatIn, classLabels):
    alpha = 0.001  # 学习率，也就是题目描述中的 α
    iteration_nums = 100  # 迭代次数，也就是for循环的次数
    dataMatrix = np.mat(dataMatIn)
    labelMat = np.mat(classLabels).transpose()
    m, n = np.shape(dataMatrix)  # 返回dataMatrix的大小。m为行数,n为列数。
    weight_mat = np.ones((n, 1))  # 初始化权重矩阵
    # iteration_nums 即为循环的迭代次数
    # 请在代码完善部分注意矩阵乘法的维度，使用梯度下降矢量化公式
    # code start here
    for k in range(iteration_nums):
        h=sigmoid(dataMatrix*weight_mat)
        error=(h-labelMat)
        weight_mat=weight_mat-alpha*dataMatrix.transpose()*error
    return weight_mat
    # code end here


if __name__ == '__main__':
    dataMat, labelMat = generate_data()
    print(gradientDescent(dataMat, labelMat))