linear models
model bias→更有弹性、有未知参数的function
这里要采用梯度下降的方法寻找最小loss,因为参数多
实际使用梯度下降的时候,会把 N 笔数据随机分成一个一个的批量(batch)
把所有的批量都看过一次,称为一个回合(epoch),每一次更新参数叫做一次更新。
1 epoch = see all the batches once
模型变形
activation function:
- sigmoid
- ReLU(更好)
Sigmoid 或 ReLU 称为神经元(neuron),很多的神经元称为神经网络(neural network)。
加更多层激活函数,让拟合、预测更好
许多层意味着深,机器学习就变成了深度学习(现在做到几百层)
但要谨慎overfiting(在看过的训练资料上表现好,但在没看过的资料上表现更差)