AI基础 -- 练手之预测耗时方案

预测耗时的方案

1. 初始化权重

计算初始权重 $w$：
$$w=\frac{a2-a1}{1}$$

2. 预测值

使用权重和实际值 $a2$ 来计算预测值 $y3$：
$$y3=w\cdot 1+a2$$

3. 损失函数

计算预测值 $y3$ 与实际值 $a3$ 之间的损失：

常见的损失函数为均方误差（MSE），即：
$$\text{MSE}=(y3-a3{)}^2$$

4. 更新权重

4.1 损失函数对权重的偏导数

首先，对损失函数 $\text{MSE}$ 关于权重 $w$ 的偏导数进行求解：

$$\text{MSE}=(y3-a3{)}^2$$

计算 $y3$ 对 $w$ 的导数：

$$y3=w\cdot 1+a2$$

$$\frac{\partial y3}{\partial w}=1$$

使用链式法则计算均方误差损失函数对权重的偏导数：

$$\frac{\partial \text{MSE}}{\partial w}=2\cdot (y3-a3)\cdot \frac{\partial y3}{\partial w}$$

代入 $\frac{\partial y3}{\partial w}=1$：

$$\frac{\partial \text{MSE}}{\partial w}=2\cdot (y3-a3)\cdot 1$$

$$\frac{\partial \text{MSE}}{\partial w}=2\cdot (y3-a3)$$

4.2 更新权重

使用梯度下降法更新权重 $w$：

$$w=w-\eta \cdot \frac{\partial \text{MSE}}{\partial w}$$

代入偏导数：

$$w=w-\eta \cdot (2\cdot (y3-a3))$$

其中 $\eta$ 是学习率。

4.3 学习率的选取

学习率 $\eta$ 是控制每次权重更新幅度的超参数。选择合适的学习率非常重要：

• 过小的学习率：收敛速度慢，可能导致训练时间过长。
• 过大的学习率：可能导致训练不稳定，甚至发散。

选择学习率的一些建议：

• 实验法：从一个较小的值开始（如 0.01 或 0.001），然后逐步增加，观察损失函数的变化。
• 学习率调度：可以使用学习率衰减策略，在训练过程中逐渐减小学习率，以提高训练稳定性和收敛效果。

4.4 评估学习效果

学习过程完成的标志包括：

• 损失函数收敛：损失函数值趋于稳定，变化幅度变小。可以设置一个阈值（如损失值变化小于 0.001）来判断收敛。
• 预测精度：预测值与实际值的差异变小。可以使用均方误差（MSE）或其他评价指标来评估预测精度。
• 验证集表现：如果使用了验证集，则验证集上的损失函数值趋于稳定，且不再显著下降，说明模型的学习效果良好。