李宏毅机器学习笔记(3)—Gradient Descent

本文介绍了Gradient Descent的优化技巧,包括学习率调整、Stochastic Gradient Descent和Feature Scaling。通过理解学习率的重要性、Adagrad算法以及随机梯度下降的优势,可以提升模型的训练效率。特征缩放有助于更快收敛,通过标准化数据,确保各特征在同一尺度上。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Gradient Descent 的技巧

下图是对偏微分的书写形式的补充说明,可以用倒三角来表示偏微分组成的向量,也就是梯度。所以下图左侧的式子可以写成下图右侧的式子。这种使用某一字符代表向量的写法可以大大简化书写,倒三角表示偏微分向量也能够简化书写。
在这里插入图片描述

Tip 1: Tuning your learning rates

第一个技巧也就是改变 learning rates 的速率。可以预见的是过小的 learning rates 会让参数收敛的十分缓慢,过大的 learning rates 会让参数无法收敛或是说出现震荡现象。所以一个合理的想法就是我们应该去调整 learning rates。
以下图片描述的想法是,一开始我们应该让 learning rates 较大,为了快速收敛,但一段时间后为了不出现震荡,我们应该缩小 learning rates,所以就有了下图的 η/sqr(t+1),其中 t 是指迭代的次数。
在这里插入图片描述
但是这仅仅是一种十分简单粗暴的方法,肯定是不太能适用于一般情况。所以我们考虑给每个不同的参数不同的 learning rates 。
在下图中可以看到,为了让learning rates 有合适的变化,我们采用了一种叫Adagrad 的方式

### 李宏毅机器学习中的回归笔记 #### 回归的应用场景 回归模型用于预测连续型变量,在实际应用中非常广泛。例如房价预测、股票价格走势分析等都是典型的回归问题实例[^2]。 #### 模型构建 对于线性回归而言,其基本形式为 \(y = w_1x + b\) ,其中\(w_1\)代表权重参数而\(b\)则是偏置项。当面对更复杂的数据分布情况时,则可能采用多项式回归或其他非线性的变换方式来提高拟合效果[^4]。 #### 函数优劣度评估 为了衡量所建立的回归模型的好坏程度,通常会引入损失函数这一概念。均方误差(Mean Squared Error, MSE)是最常用的评价指标之一,它通过计算真实值与预测值之间的平方差之和来进行量化描述。 #### 参数优化算法——梯度下降法 寻找最优解的过程即是对目标函数最小化的过程。在这个过程中,梯度下降扮演着至关重要的角色。该方法基于负梯度方向更新权值向量直至收敛至局部极小点附近停止迭代操作[^3]。 ```python import numpy as np def gradient_descent(x_data, y_true, learning_rate=0.01, iterations=1000): m_curr = b_curr = 0 n = len(x_data) for i in range(iterations): y_pred = m_curr * x_data + b_curr cost = (1/n) * sum([val**2 for val in (y_true-y_pred)]) md = -(2/n)*sum(x_data*(y_true-y_pred)) bd = -(2/n)*sum(y_true-y_pred) m_curr -= learning_rate * md b_curr -= learning_rate * bd return m_curr, b_curr, cost ``` #### 结果讨论 经过训练后的回归模型能够较好地捕捉到输入特征与输出标签间的映射关系,但在具体应用场景下还需考虑过拟合等问题的影响因素。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值