【吴恩达机器学习笔记】梯度下降算法

目录

前言

一、梯度下降算法

二、梯度下降算法公式

同步下降

总结


前言

延续上文,本节将介绍梯度下降算法来计算代价函数的最小值。


一、梯度下降算法

想象一下你正站立在你想象的公园——这座红色山某一点上,在梯度下降算法中,我们要做的就是旋转 360 度,看看我们的周围,并问自己要在某个方向上,用小碎步尽快下山。这些小碎步需要朝什么方向?如果我们站在山坡上的这一点,你看一下周围,你会发现最佳的下山方向,你再看看周围,然后再一次想想,我应该从什么方向迈着小碎步下山?然后你按照自己的判断又迈出一步,重复上面的步骤,从这个新的点,你环顾四周,并决定从什么方向将会最快下山,然后又迈进了一小步,并依此类推,直到你接近局部最低点的位置。

梯度下降背后的思想是:开始时我们随机选择一个参数的组合(𝜃0, 𝜃1, . . . . . . , 𝜃𝑛),计算代价函数,然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值( local minimum),因为我们并没有尝试完所有的参数组合,所以不能确定我们得到的局部最小值是否便是全局最小值( global minimum),选择不同的初始参数组合,可能会找到不同的局部最小值。

二、梯度下降算法公式

 

 

其中𝑎是学习率( learning rate),它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大,在批量梯度下降中,我们每一次都同时让所有的参数减去(学习速率乘以代价函数的导数)。

同步下降

实现梯度下降算法的微妙之处是,在这个表达式中,如果你要更新这个等式,你需要同时更新𝜃0和𝜃1。

同步更新是梯度下来算法更自然的实现方法。当人们谈到梯度下降时,他们的意思就是同步更新。


总结

提示:这里对文章进行总结:
例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
以下是一个简单的线性回归示例,使用梯度下降算法来优化模型参数: ```python import numpy as np # 输入数据 X = np.array([[1, 1], [1, 2], [1, 3], [1, 4]]) y = np.array([2, 3, 4, 5]) # 初始化模型参数 theta = np.zeros(X.shape[1]) # 定义梯度下降函数 def gradient_descent(X, y, theta, learning_rate, num_iterations): m = len(y) # 样本数量 history_cost = [] # 记录每次迭代的损失函数值 for i in range(num_iterations): # 计算预测值 y_pred = np.dot(X, theta) # 计算误差 error = y_pred - y # 计算梯度 gradient = (1/m) * np.dot(X.T, error) # 更新参数 theta = theta - learning_rate * gradient # 计算损失函数值 cost = np.sum((y_pred - y) ** 2) / (2 * m) history_cost.append(cost) return theta, history_cost # 调用梯度下降函数进行训练 learning_rate = 0.01 num_iterations = 1000 theta_optimized, history_cost = gradient_descent(X, y, theta, learning_rate, num_iterations) print("优化后的参数 theta:", theta_optimized) ``` 这段代码实现了一个简单的线性回归模型,通过梯度下降算法来优化模型参数。输入数据 `X` 是一个二维数组,每一行代表一个样本的特征向量,第一列为常数项1用于计算截距。标签 `y` 是一个一维数组,代表对应样本的真实值。函数 `gradient_descent` 实现了梯度下降算法的迭代过程,其中 `learning_rate` 是学习率,`num_iterations` 是迭代次数。最后输出优化后的参数 `theta_optimized`。 请注意,这只是一个简单的示例代码,并不涵盖所有的梯度下降变体和优化技巧。实际应用中可能需要对代码进行适当修改和扩展。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值