Datawhale X 李宏毅苹果书 AI夏令营 入门2.0笔记

linear models

 model bias→更有弹性、有未知参数的function

这里要采用梯度下降的方法寻找最小loss，因为参数多

实际使用梯度下降的时候，会把 N 笔数据随机分成一个一个的批量（batch）

把所有的批量都看过一次，称为一个回合（epoch），每一次更新参数叫做一次更新。

1 epoch = see all the batches once

模型变形

activation function：

• sigmoid
• ReLU（更好）

Sigmoid 或 ReLU 称为神经元（neuron），很多的神经元称为神经网络（neural network）。

加更多层激活函数，让拟合、预测更好

许多层意味着深，机器学习就变成了深度学习（现在做到几百层）

但要谨慎overfiting（在看过的训练资料上表现好，但在没看过的资料上表现更差）

深比宽的好处在哪？