梯度下降是一种常用的优化算法,用于机器学习中的参数优化问题。其基本思想是,通过不断地迭代,使用训练数据对参数进行调整,使得模型的预测误差最小化。
下面是使用 Python 代码实现梯度下降算法的例子:
import numpy as np
# 定义损失函数
def loss(x, y, w):
y_pred = w * x
return (y_pred - y) ** 2
# 定义损失函数的梯度
def gradient(x, y, w):
return 2 * x * (w * x - y)
# 初始化参数
w = np.random.randn()