李宏毅苹果书学习:
书中1.2线性模型
基础概念
线性模型尝试通过调整权重 www 和偏置 bbb 来预测结果,基于最小化误差的概念。具体来说,线性模型形式如下: y=wx+by = wx + by=wx+b 其中 xxx 是输入,yyy 是输出,www 是权重,bbb 是偏置。
梯度下降法
核心思想:通过迭代方式调整 www 和 bbb,使得损失函数 L(w,b)L(w, b)L(w,b) 最小化。
更新规则:w←w−η∂L∂ww \leftarrow w - \eta \frac{\partial L}{\partial w}w←w−η∂w∂L, b←b−η∂L∂bb \leftarrow b - \eta \frac{\partial L}{\partial b}b←b−η∂b∂L,其中 η\etaη 是学习率。
过程可视化:如图1.5所示,通过反复更新 www 和 bbb,模型逐渐靠近最优解。
多变量线性模型
对于复杂问题,单一变量线性模型可能不足以捕捉所有信息。通过引入更多变量,线性模型可以扩展为: y=w1x1+w2x2+...+wnxn+by = w_1x_1 + w_2x_2 + ... + w_nx_n + by=w1x1+w2x2+...+wnxn+b 这种模型可以更好地适应数据,提高预测精度。
书中图解分析
- 图1.5:展示了梯度下降优化过程的一般步骤,从随机初始化参数开始,逐步调整以减少损失。
- 图1.6:描述了使用线性模型预测的效果。横轴表示时间,纵轴表示观测值和预测值。通过调整模型参数,预测线尝试拟合实际数据线。
图片解析
- 图1.5:显示了参数空间中的梯度下降路径。可以看到初始点,以及通过迭代更新向最小损失点移动的路径。
- 图1.6:这张图比较了实际数据(红线)与模型预测(蓝线)的结果。图中明显看出模型在尝试捕捉数据的主要趋势,但存在一定的偏差。