【Datawhale X 李宏毅苹果书 AI夏令营】深度学习详解1.2

1. 线性模型基础

1.1 线性模型表达式

线性模型是机器学习中的基础模型，其表达式为：
$$y=b+wx$$
其中 w 和 b 是模型参数。

1.2 梯度下降法

梯度下降法用于优化模型参数，更新规则为：
$$w_{\text{new}}=w-\eta \frac{\partial L}{\partial w}$$
$$b_{\text{new}}=b-\eta \frac{\partial L}{\partial b}$$
其中 η 是学习率

2. 模型优化过程

2.1 损失函数

损失函数 ( L ) 用于评估模型预测值与实际值之间的误差。

2.2 参数更新

通过梯度下降法不断更新 w 和 b ，直至找到最优参数

3. 线性模型的局限性

3.1 模型偏差

线性模型无法模拟复杂的非线性关系，这导致了模型偏差。

4. 分段线性曲线

4.1 构建分段线性曲线

分段线性曲线可以通过组合多个线性函数来逼近复杂的曲线。

4.2 逼近连续曲线

通过增加分段的数量，分段线性曲线可以逼近任何连续曲线。

5. 模型变形与激活函数

5.1 ReLU函数

修正线性单元（ReLU）是常用的激活函数，表达式为：
$$\text{ReLU}(x)=\max (0,x)$$

5.2 模型堆叠

通过堆叠多个激活函数，可以构建复杂的神经网络模型。

6. 神经网络与深度学习

6.1 神经网络结构

神经网络由多个神经元组成，每个神经元可以看作是一个模型单元。

6.2 深度学习的发展

深度学习通过增加网络的深度（层数），提高了模型的性能。

7. 实验结果

7.1 模型性能对比

• 线性模型：训练数据损失为 320，测试数据损失为 460。
• 100个 ReLU：训练数据损失为 280，测试数据损失有所降低。

7.2 过拟合问题

增加模型复杂度可能导致过拟合，即训练数据表现良好，但测试数据表现差。

8. 总结

深度学习通过构建复杂的神经网络模型，使用梯度下降法优化参数，可以有效地解决多种机器学习问题。然而，模型设计时需要注意避免过拟合，确保模型具有良好的泛化能力。