梯度下降（Gradient Descent）

梯度下降（Gradient Descent）是一种常用的优化算法，用于最小化函数的损失或误差。它在机器学习中被广泛应用于训练模型。下面是一个简单的Python示例，演示如何使用梯度下降算法来拟合线性回归模型。

假设我们有一个简单的线性回归模型：y = w * x + b，其中 w 和 b 是我们要优化的参数。我们的目标是找到最优的 w 和 b，使得模型拟合数据最好。

import numpy as np
import matplotlib.pyplot as plt

# 生成示例数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# 定义梯度下降函数
def gradient_descent(X, y, w_init=0, b_init=0, learning_rate=0.01, num_iterations=1000):
    m = len(y)
    w = w_init
    b = b_init
    
    for i in range(num_iterations):
        # 计算预测值
        y_pred = w * X + b
        
        # 计算损失函数
        loss = np.mean((y_pred - y)**2)
        
        # 计算梯度
        dw = (2/m) * np.sum((y_pred - y) * X)
        db = (2/m) * np.sum(y_pred - y)
        
        # 更新参数
        w = w - learning_rate * dw
        b = b - learning_rate * db
    
    return w, b

# 调用梯度下降函数，得到最优参数
w_optimal, b_optimal = gradient_descent(X, y)

# 绘制数据和拟合的线性回归模型
plt.scatter(X, y, label='Data')
plt.plot(X, w_optimal * X + b_optimal, color='red', label='Linear Regression')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Gradient Descent Linear Regression')
plt.legend()
plt.show()

print("最优参数：")
print("w_optimal:", w_optimal)
print("b_optimal:", b_optimal)

在这个示例中，我们首先生成了一个示例数据集 X 和对应的目标变量 y，其中 y 是 X 的线性函数，并添加了一些噪声。

然后，我们定义了梯度下降函数 gradient_descent，其中迭代计算预测值、损失函数、梯度，并更新参数 w 和 b。在每次迭代中，根据梯度的方向，使得损失函数逐渐减小，从而找到最优的参数 w_optimal 和 b_optimal。

最后，我们绘制了原始数据点和使用梯度下降算法拟合的线性回归模型。同时，打印出最优的参数 w_optimal 和 b_optimal。

请注意，这是一个简单的梯度下降示例，实际应用中可能需要更多的优化技巧，如学习率的调整、批量梯度下降等。梯度下降算法在深度学习等领域也有广泛的应用。