Datawhale X 李宏毅苹果书 AI夏令营 机器学习笔记task2

 问答记录

一、简单解释一下线性模型。

线性模型通过线性方程来描述两个或多个变量之间的关系。简单来说，线性模型假设因变量（响应变量）与自变量（解释变量）之间存在线性关系，即它们之间的关系可以用一条直线来近似表示。

二、在本书中，激活函数起到了什么作用？你是否了解激活函数的其他用处？ 

引入非线性，发挥神经网络叠加层带来的优势。
帮助解决梯度消失问题：某些激活函数（如ReLU及其变体）有助于缓解梯度消失问题，这在训练深层网络时尤为重要。

三、说几个常见的优化算法，并简单介绍一到两个：

1.随机梯度下降SGD
2.Momentum
3.AdaGrad
4.Adam
Momentum参照小球在碗中滚动的物理规则进行移动，AdaGrad为参数的每个元素适当地调整更新步伐。
Adam 融合了Momentum和AdaGrad的方法。通过组合前面两个方法的优点，有望实现参数空间的高效搜索。此外,进行超参数的“偏置校正”也是Adam的特征。