Datawhale X 李宏毅苹果书AI夏令营 - Task2笔记 - 1.2

1. 线性模型和优化

• 线性模型的基本形式是 ( y = b + w x )，其中 ( b ) 是偏置，( w ) 是权重，( x ) 是特征。
• 梯度下降是优化线性模型的一种方法，通过计算损失函数 ( L ) 对参数 ( w ) 和 ( b ) 的梯度来更新这些参数，最终目标是使损失最小。
• 在PyTorch等深度学习框架中，微分和梯度计算是自动化的，用户只需要定义损失函数和优化算法。

2. 模型优化过程

• 通过选择初始值，计算损失函数 ( L ) 对 ( w ) 和 ( b ) 的偏导数，更新参数，重复这一过程以优化模型。
• 训练数据上的损失和测试数据上的损失反映了模型的拟合效果。一个好的模型应该在训练和测试数据上都有较低的损失。

3. 从单一线性模型到分段线性模型

• 线性模型的局限在于它无法捕捉更复杂的关系，比如分段的曲线。
• 分段线性模型可以用来拟合具有不同斜率的多个线性段，增加模型的复杂性和灵活性。

4. 使用非线性函数

• Hard Sigmoid函数是一种分段线性函数，可以通过多个Sigmoid函数的组合来逼近。
• Sigmoid函数的表达式为 ( \sigma(x) = \frac{1}{1 + e^{-(b + wx)}} )，它是一种S型曲线，通过调整其参数 ( b ), ( w ), 和 ( c ) 来改变其形状。
• 通过将多个Sigmoid函数叠加，可以创建复杂的非线性模型。

5. 扩展到多特征

• 对于更复杂的模型，可以使用多个特征 ( x_1, x_2, \ldots, x_j ) 结合多个非线性函数，如多个Sigmoid函数，通过加权求和来生成预测结果。
• 可以使用矩阵形式来表示这些操作，简化计算。

6. 参数优化

• 参数优化通过梯度下降实现。在参数空间中找到使损失函数最小的参数组合。
• 实际中，优化过程可能需要处理大量的参数，通过批量更新（Mini-Batch Gradient Descent）来加速计算。

7. 实践中的优化细节

• 批量梯度下降：将数据分成小批量进行训练，可以提高计算效率和稳定性。
• 梯度计算：在实际应用中，每次使用一个批量数据计算损失和梯度，然后更新参数。

总结

这段文本从线性模型的基础开始，介绍了如何通过梯度下降优化模型参数，接着扩展到更复杂的分段线性模型和非线性函数，最后讨论了多特征模型和参数优化的实际细节。通过这些步骤，可以构建出更复杂和更准确的预测模型。