逻辑斯蒂回归_逻辑斯蒂回归（LR）模型python复现 - 随机梯度下降法；SGDM；RMSProp；Adam...

最新推荐文章于 2021-11-28 12:00:00 发布
最新推荐文章于 2021-11-28 12:00:00 发布
阅读量242 收藏 1
点赞数
文章标签： 逻辑斯蒂回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39804059/article/details/111368527
版权

d658f1f9192a744d56642fb021976422.png

本文包括：

  1. 随机梯度下降法
  2. SGDM
  3. RMSProp
  4. Adam
  5. 其它有关数据分析，机器学习的文章及社群

逻辑斯蒂回归理论知识：

舟晓南：统计学习方法 - 逻辑斯蒂回归解析 | 数据分析，机器学习，学习历程全记录

数据集mnist下载地址（csv格式），以及完整代码：

Zhouxiaonnan/machine-learning-notesandcode

如果觉得对您有帮助，还烦请点击上面的链接，帮忙github点个star~谢谢~

Talk is cheap, let's check the code ^_^

逻辑斯蒂回归 - 随机梯度下降法：

'''
逻辑斯蒂回归 - 随机梯度下降法
-------------------------------------
数据集：Mnist
训练集数量：60000
测试集数量：10000
---------------------------------
训练结果：
迭代次数：100
训练时间：3.54s
测试时间：0.53s
正确率：0.76
'''

import numpy as np
import time
from itertools import islice
import random


'''
readlines方法读取训练数据
--------
输入：
file：数据地址
--------
输出：
data：转换后的数据
label：转换后的标记
'''
def LoadData(file):
    
    # 打开数据文件
    fr = open(file, 'r')
    
    # 准备两个list存储data和label
    data = []
    label = []
    
    # 逐行读取数据，使用islice可以直接跳过第一行表头进行逐行读取
    for line in islice(fr,1,None):
        
        # 对每一行消去空格，并根据','进行分割
        splited = line.strip().split(',')
        
        # 逐行存储数据，此处对特征进行归一化
        data.append([int(num)/255 for num in splited[1:]])
        
        # 因为逻辑斯蒂回归是二分类问题，我们将大于4的类归为1，小于4的类归为0
        a = int(splited[0])
        if a > 4:
            label.append(1)
        else:
            label.append(0)
    
    # 采用书中的方法，我们将b作为一个元素放在w向量的最后一个
    # 同样也需要在每个特征向量后面加上一个1
    SampleNum = len(data)
    for i in range(SampleNum):
        data[i].append(1)
            
    # 返回数据的特征部分和标记部分
    return data, label

'''
预测
-------
输入：
w：目前的权值向量
x：一条样本的特征向量
-----------
输出：类别
'''
def predict(w, x):
    
    exp_wx = np.exp(np.dot(w, x))
    P = exp_wx / (1 + exp_wx)
    if P > 0.5:
        return 1
    return 0

'''
逻辑斯蒂回归 - 随机梯度下降法
--------------
输入：
data：训练集数据
label：训练集标记
itertime：迭代次数
-------------
输出：
w：最优化的权值向量
'''
def Logistic(data, label, itertime):
    
    # 初始化w
    FeatureNum = np.shape(data)[1]
    w = np.zeros(FeatureNum)
    
    # 设定学习率
    h = 0.001
    
    # 样本数
    SampleNum = len(data)
    
    # 将data转换成ndarray格式，方便后续的计算
    data = np.array(data)
    
    # 迭代
    for i in range(itertime):
        
        # 随机选择误分类点
        a = 0
        while a == 0:
            
            # 随机选择
            s = random.sample(range(0, SampleNum - 1),1)[0]
            
            # 得到该样本的特征向量和标记
            xi = data[s]
            yi = label[s]
            
            # 如果分类错误，更新w
            if predict(w, xi) != yi:
                          
                exp_wxi = np.exp(np.dot(w,xi))
                w += h * (xi * yi - (xi * exp_wxi) / (1 + exp_wxi))

                # 进行下一次迭代
                a = 1
             
    return w

'''
模型测试
------------
输入：
data：测试集数据
label：测试集标记
w：最优化的权值向量
-----------
输出：
Acc：正确率
'''

def Classifier(data, label, w):
    
    # 样本数
    SampleNum = len(data)
    
    # 初始化错误分类的数量
    errorCnt = 0
    
    # 遍历每一个样本
    for i in range(SampleNum):
        
        # 对该样本的分类
        result = predict(w, data[i])
        
        # 判断是否分类正确
        if result != label[i]:
            
            # 分类错误，errorCnt+1
            errorCnt += 1
    
    # 计算正确率
    Acc = 1 - errorCnt / SampleNum
    
    return Acc

'''测试模型'''
if __name__ == "__main__":

    print('start loading')
    # 输入训练集
    train_data, train_label = LoadData('E:/我的学习笔记/统计学习方法/实战/训练数据/mnist_train.csv')

    # 输入测试集
    test_data, test_label = LoadData('E:/我的学习笔记/统计学习方法/实战/训练数据/mnist_test.csv')
    print('end loading')
    
    # 最优化参数
    print('start training')
    start = time.time()
    w = Logistic(train_data, train_label, 200)
    print('end training')
    end = time.time()
    print('training time: ', end - start)

    # 进行分类
    start = time.time()
    print('start testing')
    accurate = Classifier(test_data, test_label, w)
    print('end testing')
    end = time.time()
    print('testing time: ', end - start)
    print(accurate)

逻辑斯蒂回归比较简单，可以与感知机模型进行对比学习，并且也比较适合一些梯度下降法的改进形式，这里给出SGDM；RMSProp；Adam三种梯度下降的改进方法，更简单的梯度下降法和Adagrad已经在感知机模型中给出：

舟晓南：感知机模型python复现 - 随机梯度下降法；梯度下降法；adagrad；对偶形式

持续更新其它梯度下降法改进形式，待更新：SWATS；AMSGrad；AdaBound；Cyclical LR；SGDR；One-Cycle LR；RAdam；Nadam；Lookahead等。

逻辑斯蒂回归 - SGDM：

接下来的SGDM；RMSProp；Adam三种梯度下降法的改进形式，基本上只需要将训练的部分修改一下就行，篇幅所限，这里仅贴出修改后的模型训练部分。

'''
逻辑斯蒂回归 - SGDM
-------------------------------------
数据集：Mnist
训练集数量：60000
测试集数量：10000
---------------------------------
训练结果：
迭代次数：400
训练时间：171s
测试时间：1s
正确率：0.86
'''

'''
逻辑斯蒂回归 - SGDM
--------------
输入：
data：训练集数据
label：训练集标记
itertime：迭代次数
-------------
输出：
w：最优化的权值向量
'''
def Logistic(data, label, itertime):
    
    # 初始化w
    FeatureNum = np.shape(data)[1]
    w = np.zeros(FeatureNum)
    
    # 设定学习率
    h = 0.001
    
    # 样本数
    SampleNum = len(data)
    
    # 将data转换成ndarray格式，方便后续的计算
    data = np.array(data)
    
    # 初始化动量
    momentum = np.zeros(FeatureNum)
    
    # 设置超参数，用于设置动量中对前一次动量和速度的依赖程度
    beita = 0.9
    
    # 迭代
    for i in range(itertime):
        
        # 初始化梯度
        v = np.zeros(FeatureNum)
        
        # 遍历每一个样本点
        for j in range(SampleNum):
            
            # 得到该样本的特征向量和标记
            xi = data[j]
            yi = label[j]
            
            # 如果分类错误，更新w_i
            if predict(w, xi) != yi:
                
                # 计算梯度
                exp_wxi = np.exp(np.dot(w,xi))
                v += xi * yi - (xi * exp_wxi) / (1 + exp_wxi)
                
        # 记录动量，其中beita是超参数
        momentum = beita * momentum + (1 - beita) * v

        # 更新w
        w += h * momentum

    return w

逻辑斯蒂回归 - RMSProp：

'''
逻辑斯蒂回归 - RMSProp
-------------------------------------
数据集：Mnist
训练集数量：60000
测试集数量：10000
---------------------------------
训练结果：
迭代次数：400
训练时间：157s
测试时间：0.59s
正确率：0.86
'''

'''
逻辑斯蒂回归 - RMSProp
--------------
输入：
data：训练集数据
label：训练集标记
itertime：迭代次数
-------------
输出：
w：最优化的权值向量
'''
def Logistic(data, label, itertime):
    
    # 初始化w
    FeatureNum = np.shape(data)[1]
    w = np.zeros(FeatureNum)
    
    # 设定学习率
    h = 0.001
    
    # 样本数
    SampleNum = len(data)
    
    # 将data转换成ndarray格式，方便后续的计算
    data = np.array(data)
    
    # 设置超参数，用于设置动量中对前一次动量和速度的依赖程度
    beita = 0.9
    
    # 初始化分母项
    v_i = np.zeros(FeatureNum)
    
    # 迭代
    for i in range(itertime):
        
        # 初始化梯度
        v = np.zeros(FeatureNum)
        
        # 遍历每一个样本点
        for j in range(SampleNum):
            
            # 得到该样本的特征向量和标记
            xi = data[j]
            yi = label[j]
            
            # 如果分类错误，更新w_i
            if predict(w, xi) != yi:
                
                # 计算梯度
                exp_wxi = np.exp(np.dot(w,xi))
                v += xi * yi - (xi * exp_wxi) / (1 + exp_wxi)
        
        # 梯度的均方根
        v2 = np.square(v)
        
        # 计算分母项
        v_i = beita * v_i + (1 - beita) * v2

        # 更新w
        w += h * v / (np.sqrt(v_i) + 1e-8)

    return w

逻辑斯蒂回归 - Adam：

'''
逻辑斯蒂回归 - Adam
-------------------------------------
数据集：Mnist
训练集数量：60000
测试集数量：10000
---------------------------------
训练结果：
迭代次数：400
训练时间：148s
测试时间：0.56s
正确率：0.85
'''

'''
逻辑斯蒂回归 - Adam
--------------
输入：
data：训练集数据
label：训练集标记
itertime：迭代次数
-------------
输出：
w：最优化的权值向量
'''
def Logistic(data, label, itertime):
    
    # 初始化w
    FeatureNum = np.shape(data)[1]
    w = np.zeros(FeatureNum)
    
    # 设定学习率
    h = 0.001
    
    # 样本数
    SampleNum = len(data)
    
    # 将data转换成ndarray格式，方便后续的计算
    data = np.array(data)
    
    # 设置超参数，用于设置动量中对前一次动量和速度的依赖程度
    beita1 = 0.9
    beita2 = 0.999
    
    # 初始化分母项
    v_i = np.zeros(FeatureNum)
    momentum = np.zeros(FeatureNum)
    
    # 迭代
    for i in range(itertime):
        
        # 初始化梯度
        v = np.zeros(FeatureNum)
        
        # 遍历每一个样本点
        for j in range(SampleNum):
            
            # 得到该样本的特征向量和标记
            xi = data[j]
            yi = label[j]
            
            # 如果分类错误，更新w_i
            if predict(w, xi) != yi:
                
                # 计算梯度
                exp_wxi = np.exp(np.dot(w,xi))
                v += xi * yi - (xi * exp_wxi) / (1 + exp_wxi)
        
        # 梯度的均方根
        v2 = np.square(v)
        
        # 计算分母项
        v_i = beita2 * v_i + (1 - beita2) * v2
        v_i_hat = v_i / (1 - np.power(beita2, i + 1))
        
        # 计算动量
        momentum = beita1 * momentum + (1 - beita1) * v
        momentum_hat = momentum / (1 - np.power(beita1, i + 1))

        # 更新w
        w += h * momentum_hat / (np.sqrt(v_i_hat) + 1e-8)

    return w

github：

如果觉得对您有帮助，还烦请点击下面的链接，帮忙github点个star~谢谢~

Zhouxiaonnan/machine-learning-notesandcode

欢迎关注专栏：

学习笔记：数据分析，机器学习，深度学习​zhuanlan.zhihu.com
2399ecb553dbdb9fea45515ab2a741d3.png

机器学习模型Python复现：

舟晓南：感知机模型python复现 - 随机梯度下降法；梯度下降法；adagrad；对偶形式

舟晓南：k近邻（KNN）模型python复现 - 线性扫描；带权值的近邻点优化方法

舟晓南：朴素贝叶斯（Bayes）模型python复现 - 贝叶斯估计；下溢出问题

舟晓南：决策树（Decision Tree）模型python复现 - ID3；C4.5；CART；剪枝

机器学习模型理论部分：

舟晓南：统计学习方法 - 感知机模型解读 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 感知机模型的收敛性解读 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - k近邻模型解读 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 朴素贝叶斯模型解读 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 朴素贝叶斯之后验概率最大化的含义 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 决策树，CART决策树解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 逻辑斯蒂回归解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 最大熵模型解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 改进的迭代尺度法IIS解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 线性可分支持向量机解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 线性支持向量机解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 非线性支持向量机解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 序列最小最优化算法（SMO）解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 提升算法Adaboost解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - 提升树算法解析 | 数据分析，机器学习，学习历程全记录

舟晓南：统计学习方法 - EM算法解析 | 数据分析，机器学习，学习历程全记录

MySQL：

舟晓南：转行数据分析师如何开始学习SQL | 工科生三个月转行数据分析学习心得

舟晓南：MySQL的执行逻辑和表的结构 | 数据分析学习历程全记录

舟晓南：MySQL优化查询1：索引及其使用技巧 | 数据分析学习历程全记录

舟晓南：MySQL优化查询2：如何查找低效率语句 | 数据分析学习历程全记录

舟晓南：MySQL优化查询3：explain和show profiles | 数据分析学习历程全记录

舟晓南：MySQL优化查询4：24种查询优化的具体方法 | 数据分析学习历程全记录

转行数据分析相关：

舟晓南：如何转行和学习数据分析 | 工科生三个月成功转行数据分析心得浅谈

舟晓南：求职数据分析师岗位，简历应该如何写？｜工科生三个月成功转行数据分析心得浅谈

数据分析，机器学习学习社群正式启动~

需要学习资料，想要加入社群均可私信~

在这里会分享各种数据分析相关资源，技能学习技巧和经验等等~

详情私信，一起进步吧！

写于成都 2020-10-1

weixin_39804059
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
逻辑斯蒂回归多元分类的随机梯度下降
相门码农的专栏
04-13 4166
先介绍二元分类的批量梯度下降，伪代码如下： for loop: 1...iLoopNum
LogisticRegression:(c++) 多元逻辑斯蒂回归，并实现随机梯度下降和L1L2正则化项
06-10
LogisticRegression 多元逻辑斯蒂回归，并实现随机梯度下降和L1/L2正则化项。 参照 在此基础上加入L1和L2 Regularization；关于逻辑斯蒂回归中的L1和L2正则化项详见以下两个链接: 并对输入格式进行泛化，例如可以对“Sun Weather=rainy:1 Temperature=hot:1 ...”格式进行分类
纯python实现感知机（梯度下降法）
爱吃冰淇凌的羊驼
12-17 1299
为什么会用纯Python来实现呢？这种陶（hao）冶（wu）情（yong）操（chu）的做法肯定也不是我自己闲着蛋疼搞着玩的。。。  明明有更好的科学计算库不用，非要纯手写正面硬刚，除了老师用挂科作为威胁还能有谁？ 下面是一大纯手打的堆理推导... 写的逻辑有些混乱，后续有时间再慢慢整理 觉得麻烦的小伙伴就不用看了，反正我代码里也写的有注释，代码稍后传上github后更新连接 --------...
Python基于梯度下降实现多元非线性回归（随笔三）
qq_39909808的博客
11-05 3335
梯度下降拟合四次函数 1.原理 原理其实很简单，对目标函数求梯度，然后使用梯度下降即可。目标函数如下： f(x)=3.2∗x4+1.5∗x3+4.3∗x2+9.03∗x−15f(x) = 3.2 * {x}^4 + 1.5 * {x}^3 + 4.3 * {x}^2 + 9.03 * {x} - 15f(x)=3.2∗x4+1.5∗x3+4.3∗x2+9.03∗x−15 那么该函数的损失函数则是： L(x)=1/n∗∑i=1n(f(xi)−y(xi))2 L(x)=1/n*\sum_{i=1}^{n} (
Logistic Regression-逻辑回归
Abner
11-06 1098
logistic回归分类的主要思想：根据现有的数据对分类边界线建立回归公式，以此分类，这里“回归”源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时就是寻找最佳拟合参数。   Sigmoid函数：   Sigmoid函数的输入记为z,且,向量W就是我们要寻找的参数，向量X是分类器的输入数据。   为了实现logistic回归分类器，我们可以在每个特征上乘以一个回归系数W，再把所有的相乘
安川_∑-Ⅱ系列SGM□H_SGDM产品样本.pdf
09-15
安川_∑-Ⅱ系列SGM□H_SGDM产品样本pdf,安川_∑-Ⅱ系列SGM□H_SGDM产品样本说明： 鉴定时间缩短  由于新控制算法的扩充，实现了模式跟踪控制，制振控制，强化了对振动的控制。因此，即使低刚性机械其定位器定时间...
神经网络梯度下降与粒子群组合的训练算法.pdf
09-25
为了解决这个问题，已经有诸多优秀的梯度下降法优化算法，如SGD、SGDM、CM、Adam和Adam等。但是，这些优化算法大多是对网络连接结构、网络初始值的优化，而忽视了参数的全局寻优问题。 本文提出的BP-PSO算法正是...
卷积神经网络CNN代码解析-matlab.zip_CNN matlab_CNN matlab代码_CNN代码matlab_I
07-15
在实际应用中，我们还需要定义损失函数（如交叉熵损失）和优化器（如随机梯度下降SGD）。MATLAB提供了如`crossentropy`和`sgdm`等函数来完成这些任务。 训练CNN模型时，我们通常分为以下几个步骤： 1. **预处理数据...
安川伺服系统∑-Ⅱ系列SGM□H SGDM产品样本.pdf
10-31
安川伺服系统∑-Ⅱ系列SGM□H SGDM产品样本pdf,本资料是关于安川伺服系统∑-Ⅱ系列SGM□H SGDM产品样本，更多详细内容请点击下载！
MLP11.rar_MLP_Neural networks
07-15
然后，通过梯度下降或其变种（如动量法、Adam等）更新参数，以最小化损失函数，从而使预测值与实际值尽可能接近。 **应用场景** MLP广泛应用于各种领域，包括图像识别、自然语言处理、推荐系统、语音识别等。由于...
Logistic算法（随机梯度下降法）的Python代码和数据样本
03-12
资源中包含随机梯度下降逻辑回归算法的Python代码和测试数据，python的版本为3.6，您运行代码前，将测试文件路径修改为您本地的存储路径，使用pycharm平台运行即可。
【机器学习实验五】逻辑斯蒂回归
一个正在努力学习的iter
11-18 3859
一、逻辑斯蒂回归基本概念 1.1、基本概念 逻辑斯蒂（Logistic）回归又称为“对数几率回归”，虽然名字有回归，但是实际上却是一种经典的分类方法，其主要思想是：根据现有数据对分类边界线（Decision Boundary）建立回归公式，以此进行分类。 1.2、特点 优点：计算代价不高，具有可解释性，易于实现。不仅可以预测出类别，而且可以得到近似概率预测，对许多需要利用概率辅助决策的任务很有用。 缺点：容易欠拟合，分类精度可能不高。 适用数据类型：数值型和标称型数据。 1.3、Logisti.
逻辑(斯谛)回归（Logistic Regression）
u014630987的博客
03-20 899
GitHub 简书 CSDN 在我们学习机器学习的过程中，我们所需解决的问题，大致可以分为两部分：分类和回归.其中,分类是指模型用来预测一个有限的离散值集合中的一个，比如猫狗分类，肿瘤的恶性或良性; 回归是指模型的输出是一个连续变量，比如预测房价、身高等.本篇内容讲解的是机器学习中经典的逻辑(斯谛)回归（Logistic Regression)，从名字上看，大家误以为该方法是一种回归方法，其实不然...
吴恩达神经网络和深度学习-学习笔记-12-RMSprop算法
真理无穷，进一步有进一步的欢喜
07-16 534
全称是root mean square prop算法 我们假设纵轴方向为b，横轴方向为W。我么希望纵轴slow，横轴fast。 对于第t次迭代，公式如上图。 我们希望W方向fast，B方向slow，所以dW小一些，db大一些，这样在W上会除一个较小的数，在b上会除一个较大的数，从而加快横轴的变化而减慢纵轴的变化，从而得到绿色的曲线。 RMSprop算法一方面能将找到成本函数J最小值的路径从紫色变...
数据挖掘-Logistic回归建模
走向DT
04-28 4422
Logistic回归建模          Logistic回归属于概率型非线性回归，对于二分类的Logistic回归，因变量y只有“是、否”两个取值，记为“是、否“两个取值，记为0和1。假设在自变量想，x1,x2.......,xp  作用下，y取“是”的概率是p，则取“否”的概率是1-p，研究的是当y取“是”发生的概率p与自变量x1,x2,x3……, xp  的关系。 Logistic
Tensorflow学习笔记（三）——用Tensorflow实现线性回归和逻辑回归
小白的笔记本
02-07 1187
Tensorflow学习笔记（三）——用Tensorflow实现线性回归和逻辑回归
【机器学习】逻辑回归代码练习
fengdu78的博客
11-28 2701
是中国大学慕课《机器学习》的“逻辑回归”章节的课后代码。课程地址：https://www.icourse163.org/course/WZU-1464096179课程完整代码：https:...
python 定时执行任务_Python 以一个指定的间隔定时循环执行任务
weixin_39809140的博客
12-08 432
程序功能：指定一个或者同时多个固定的延迟(例如，5mins, 1hour,1 day, 1 week),程序按照这个指定的延迟定时循环执行某个workfrom datetime import date, time, datetime, timedeltadef work():print "hello world."def runTask(func, day=0, hour=0, min=0, se...
内置函数
weixin_30599769的博客
05-25 201
abs() 3 函数返回x的绝对值，如果参数是一个复数，则返回它的大小 5 print(abs(-40)) 6 print(abs(100.10))#40#100.10 dict() 函数用于创建一个字典 a=dict()#创建空字典 b=dict(a='a',b='b',t='t')#传入关键字 c=dict(zip(['one','two',...
随机梯度下降法和动量优化法相结合的算法应用于分类器训练中的原理
最新发布
05-11
具体来说，SGDM在每次迭代中使用随机梯度下降法来计算当前批次的梯度，然后使用动量优化法来更新模型参数。这种算法可以加速收敛速度，并且减少陷入局部最优点的风险。 在分类器训练中，SGDM可以应用于各种类型的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值