[机器学习]Logistic回归梯度上升法与改进的随机梯度上升算法

最新推荐文章于 2020-04-06 09:01:55 发布

Thorrrrrrrrrr

最新推荐文章于 2020-04-06 09:01:55 发布

阅读量862

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/sinat_33487968/article/details/70765788

版权

本文介绍了多维空间下Sigmoid函数的原理，并详细阐述了Logistic回归中梯度上升算法的基本思想。通过提供的三个图片，读者可以更直观地理解梯度上升的过程。同时，提到了改进的随机梯度上升算法，为机器学习模型的优化提供了另一种有效方法。

摘要由CSDN通过智能技术生成

http://sbp810050504.blog.51cto.com/2799422/1608064/这个网址解释了多维空间的sigmoid函数与梯度上升算法的原理，大家可以参考一下。

from numpy import *
def loadDataSet():#读数据
    dataMat = []
    labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat


def sigmoid(intX):#sigmoid函数
    return 1.0 / (1 + exp(-intX))


def gradAscent(dataMatIn, classLabels):#Logistic回归梯度上升优化算法
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    m, n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = ones((n, 1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)
        error = labelMat - h
        weights = weights + alpha * dataMatrix.transpose() * error