线性模型笔记#Datawhale X 李宏毅苹果书 AI夏令营

1.线性模型与周期性数据

初始模型使用前一天的观看数据来预测翌日的观看人数，发现周期性特征（每7天有两天观看人数较低）。初始模型在训练数据上的损失较小（480），但在没有观察过的数据上误差较大。

2.模型改进

改进模型时加入了对前7日的观看数据进行综合考虑，损失降低到380（训练数据）和490（新数据）。通过对模型的观察和对问题的理解（周期性），可以参考更多的数据特征，从而更好地预测结果。

3.使用非线性函数逼近

Sigmoid函数用于逼近Hard Sigmoid，但可以用更多的ReLU（修正线性单元）来实现类似的效果。 - ReLU和Sigmoid都是常用的激活函数，可以通过调整参数（如斜率、偏移和幅度）生成不同的函数形式。

4.深度学习模型

深度学习模型由层数和神经元组成，通过多层结构可以更好地拟合数据复杂的模式。叠加多个ReLU可以构建复杂的曲线，提升模型在训练和测试数据上的表现。

5.训练过程与梯度下降

使用梯度下降法更新模型参数，以最小化损失函数。在训练中，数据通常分批次处理（批量），每个批次用来计算损失和更新参数。一次完整的数据集遍历称为一个“回合”。

6.模型选择与过拟合

选择模型时需要在训练数据与未见数据上找到平衡，避免过拟合（即模型在训练数据上表现优异但在新数据上表现不佳）。

更深的模型并不一定表现更好，观察未见数据上的表现至关重要。

7.应用与结构

深度学习模型灵感来自人脑结构，称为人工神经网络，由多个层级构成。深度学习中常用的网络结构（如ResNet）可以非常深，达到数百层，进行更复杂数据的学习和预测。

8.实验与优化

调整层数和激活函数数量来优化模型，实验表明适度的深度和足够的复杂性可以降低损失。应用优化技术（如反向传播）提高训练效率。 通过理解这些关键点和机器学习的理论，能够更好地设计、选择和优化深度学习模型以适应特定任务。