C语言经典算法之梯度下降算法

JJJ69

于 2024-02-25 10:31:28 发布

阅读量1.5k

点赞数 39

分类专栏： C语言经典算法文章标签：算法深度学习人工智能 c语言机器学习

本文链接：https://blog.csdn.net/weixin_56154577/article/details/136279219

版权

C语言经典算法专栏收录该内容

160 篇文章 13 订阅

订阅专栏

前言

A.建议

1.学习算法最重要的是理解算法的每一步，而不是记住算法。

2.建议读者学习算法的时候，自己手动一步一步地运行算法。

B.简介

梯度下降算法是一种广泛应用于机器学习和优化问题中的数值优化方法，用于寻找函数的局部最小值。在神经网络训练、线性回归以及其他众多模型参数估计中都有应用。

一代码实现

A.梯度下降算法概述

目标函数：首先我们有一个目标函数（成本函数或损失函数），记为 $C(w)$ ，其中 $w$ 是我们要优化的一组参数向量。
梯度计算：梯度是一个向量，表示函数在每个参数方向上的变化率，即 $\Delta C(w)$ 。对于多变量函数，梯度由偏导数组成，例如 $\Delta C(w)=$ $[\frac{\partial C}{\partial w1},\frac{\partial C}{\partial w2},...,\frac{\partial C}{\partial wn}]$ 。
更新规则：在每一步迭代中，梯度下降通过沿着负梯度的方向调整参数来减少目标函数的值。更新公式如下： $w^(t+1^)=w^t-\eta \Delta C(w^t)$ 其中， $w^t$ 表示在第 t 次迭代时的参数向量， $\eta$ 是学习率，决定了每次梯度步长的大小。

B.C语言实现步骤概览：

// 假设我们的数据结构和函数已定义
typedef struct {
    double *weights; // 参数向量w
    size_t n_weights; // 参数的数量
} Model;

// 计算目标函数对所有参数的梯度
void calculate_gradient(Model *model, Dataset *data, double *gradient);

// 更新模型参数
void update_parameters(Model *model, const double *gradient, double learning_rate);

// 批量梯度下降主循环
void gradient_descent(Model *model, Dataset *data, double learning_rate, int num_iterations) {
    double *gradient = malloc(model->n_weights * sizeof(double));
    
    for (int i = 0; i < num_iterations; ++i) {
        // 计算梯度
        calculate_gradient(model, data, gradient);

        // 更新参数
        update_parameters(model, gradient, learning_rate);
        
        // 可以选择在每轮迭代后输出当前的成本或损失，以及权重
        printf("Iteration %d: Cost = ... , Weights = ...\n", i);
    }

    free(gradient);
}

// 示例函数声明
void calculate_gradient(Model *model, Dataset *data, double *gradient); // 实现计算损失函数关于权重的梯度
void update_parameters(Model *model, const double *gradient, double learning_rate); // 实现参数更新逻辑

C.函数具体实现举例：

// 假设我们正在解决一个简单的线性回归问题，损失函数是均方误差
void calculate_gradient(Model *model, Dataset *data, double *gradient) {
    for (size_t j = 0; j < model->n_weights; ++j) {
        double sum = 0.0;
        for (size_t i = 0; i < data->num_samples; ++i) {
            double prediction = dot_product(model->weights, data->samples[i], model->n_weights);
            double error = prediction - data->labels[i];
            sum += error * data->samples[i][j]; // 对于简单线性回归，梯度等于误差乘以特征值
        }
        gradient[j] = sum / (double)data->num_samples; // 使用平均梯度进行更新
    }
}

void update_parameters(Model *model, const double *gradient, double learning_rate) {
    for (size_t j = 0; j < model->n_weights; ++j) {
        model->weights[j] -= learning_rate * gradient[j];
    }
}

请注意，上述代码仅为简化示例，并未包含实际的数据结构定义、内存管理、错误检查等完整细节。在实际项目中，还需要根据具体的目标函数和任务来适配相应的梯度计算方法。

另外，如果要实现随机梯度下降（Stochastic Gradient Descent, SGD），则会在每次迭代中仅用一个样本来更新梯度，而不是整个数据集。

二时空复杂度

A.时间复杂度

批量梯度下降：
- 在每次迭代中，需要计算整个训练数据集上的梯度。
- 假设数据集有 n 个样本，每个样本有 m 个特征，目标函数关于参数向量 w 的梯度计算复杂度为 $O(mn)$ 。
- 如果目标函数是凸且光滑的，并且学习率合适，梯度下降通常需要 kkk 次迭代来收敛到局部最小值或全局最小值。
- 因此，总体时间复杂度为 $O(kmn)$ 。
随机梯度下降：
- 在每次迭代中仅使用一个样本更新梯度。
- 对于 $k$ 次迭代，时间复杂度大致为 $O(km)$ ，因为忽略了遍历整个数据集的过程，而是对每个样本独立地进行更新。
- 然而，在实际应用中，为了保证较好的收敛性，可能需要更多的迭代次数。
小批量梯度下降：
- 每次迭代基于一个小批量的数据（比如包含 $b$ 个样本），而不是单个样本或整个数据集。
- 时间复杂度为 $O(kbm)$ ，其中 $b<<n$ 。

B.空间复杂度

批量梯度下降：
- 需要存储整个训练数据集，因此空间复杂度主要取决于数据集大小，即 $O(nm)$ 。
- 另外，如果存储了梯度向量或者动量项，还需要额外的空间，通常是 $O(m)$ 。
随机梯度下降：
- 不必一次性存储整个数据集，只需存储当前处理的样本及其特征，所以对于固定大小的模型参数和一次迭代所需的临时变量，空间复杂度相对较小，基本为 $O(m)$ 或者加上一些常数级的附加开销。
小批量梯度下降：
- 存储一个小批量的数据，所以空间复杂度介于批量梯度下降与随机梯度下降之间，大约为 $O(bm)$ 。

三优缺点

A.优点：

简单易实现：梯度下降算法原理直观且易于理解，对于许多可微分的目标函数来说，算法实现相对直接。
广泛应用：适用于广泛的优化问题，特别是在机器学习领域中，如神经网络训练、线性回归模型、逻辑回归等模型的参数优化。
无需计算闭式解：对于非凸或复杂的损失函数，梯度下降法不需要找到解析解（如果存在的话），而是通过迭代寻找局部最优解。
在线学习和适应性强：在随机梯度下降（SGD）中，可以实时处理数据流，并能随着新数据的到来不断调整模型参数。
内存效率：尤其是SGD和MBGD（小批量梯度下降），相比于批处理梯度下降，它们对内存需求较小，能够处理大规模数据集。

B.缺点：

收敛速度：虽然梯度下降法能保证在凸函数上收敛到全局最小值（在一定的条件下），但实际应用中往往是非凸优化问题，可能导致收敛到局部最小值而非全局最小值。此外，收敛速度可能较慢，特别是接近极小值时可能会发生振荡。
依赖于初始点：选择不同的初始化参数，可能会导致算法收敛到不同的局部极小点，尤其是在多模态分布的目标函数空间中。
学习率设置：学习率的选择至关重要，过大可能导致不收敛或震荡，过小则会导致收敛速度非常缓慢。需要合理地动态调整学习率或采用自适应学习率策略。
计算成本：尽管SGD和MBGD降低了内存开销，但在某些情况下，为了获得更好的泛化能力，可能需要进行大量的迭代。
梯度计算：对于高维数据和大量样本，计算整个数据集的梯度代价高昂，尤其是在Batch Gradient Descent中。即使在Mini-batch梯度下降中，也需要对每个小批量计算梯度。
噪声敏感：由于SGD每一步只使用一个样本更新梯度，因此受到随机噪声影响较大，可能会增加训练过程的波动。

四现实中的应用

机器学习模型训练：
- 线性回归：梯度下降用于最小化预测值与实际标签之间的均方误差函数，从而更新模型参数（权重）。
- 逻辑回归：同样适用于最大化似然函数或最小化交叉熵损失函数，训练分类器的权重。
- 神经网络：无论是全连接层、卷积神经网络还是循环神经网络，在训练过程中，梯度下降及其变种被用来反向传播并更新所有权重和偏置。
大规模数据集优化：
- 在处理大型数据集时，梯度下降算法通过计算样本子集的梯度来进行迭代优化，例如批量梯度下降、随机梯度下降（SGD）和小批量梯度下降（Mini-batch GD）。这些方法常应用于推荐系统、搜索引擎排名优化、用户行为分析等领域。
计算机视觉：
- 图像分类、物体检测等任务中，梯度下降用于训练深度卷积神经网络（如ResNet、VGG、YOLO等），以实现对图像特征的学习和识别。
自然语言处理：
- 词嵌入学习（如Word2Vec、GloVe）、文本分类、情感分析、机器翻译等任务都依赖于梯度下降来优化模型参数，训练复杂的神经网络结构。
强化学习：
- 在Q-learning、策略梯度等算法中，梯度下降作为策略更新的关键步骤，帮助智能体学习最优策略。
金融领域：
- 用于风险管理、投资组合优化、信用评分卡开发等，通过梯度下降求解复杂的风险模型或优化目标函数。
生物信息学：
- 应用于基因表达数据分析、蛋白质结构预测等，梯度下降可以帮助找到最佳的模型参数，解释生物学现象或进行功能预测。
其他工程领域：
- 航空航天、能源管理、通信系统设计等，涉及优化问题的地方可能都会使用到梯度下降法，比如寻优卫星轨道、电力调度、无线通信资源分配等。