梯度下降优化算法综述

最新推荐文章于 2024-10-04 20:45:38 发布

技术探险先驱

最新推荐文章于 2024-10-04 20:45:38 发布

阅读量41

点赞数

文章标签：算法机器学习 python 机器学习-深度学习

本文链接：https://blog.csdn.net/library_git927/article/details/132960843

版权

机器学习-深度学习专栏收录该内容

56 篇文章 8 订阅 ¥59.90 ¥99.00

订阅专栏

本文综述了几种常见的梯度下降优化算法：批量梯度下降、随机梯度下降、小批量梯度下降、动量梯度下降和自适应学习率梯度下降。这些算法在机器学习中用于最小化目标函数，各有优缺点。批量梯度下降计算全局最优解但成本高，随机梯度下降计算速度快但不稳定，小批量梯度下降兼顾两者，动量梯度下降引入动量项加速收敛，自适应学习率梯度下降根据历史梯度自适应调整学习率。

摘要由CSDN通过智能技术生成

梯度下降是一种常用的优化算法，用于最小化目标函数。它通过迭代地更新模型参数，以找到使目标函数取得最小值的方向。在实际应用中，存在多种梯度下降的变体算法，本文将对其中几种常见的优化算法进行综述，并提供相应的源代码。

批量梯度下降（Batch Gradient Descent）
批量梯度下降是梯度下降算法的最基础形式。它每次迭代时使用整个训练集的数据计算梯度，并根据梯度的方向进行参数更新。该方法的优点是可以得到全局最优解，但也因为使用全部数据计算梯度，计算代价较高。

# Batch Gradient Descent
def batch_gradient_descent(X, y, learning_rate, num_iterations):
    m = len(y) # 样本数
    theta = np.zeros(X.shape[1]) # 参数初始化
    
    for _ in range(num_iterations):
        gradients = np.dot(X.T, (np.dot(X, theta)-y)) / m # 计算梯度
        theta = theta - learning_rate * gradients # 更新参数
        
    return theta