Regression & Model Error：bias & variance

Regression

Gradient Decent

- 根据loss function的斜率找到loss function的local minimum
- learning rate决定步子大小
- 梯度正负决定移动方向（负 增加，正 减少）
- linear regression不需要担心saddle point，平缓处
-

Adaptive Learning Rate

- 不同参数不同learning rate
- 随iteration渐渐缩小

Adagrad

Error

一般情况下，从
Large bias & small variance => Small bias & Large variance
不同testing结果不一样，保证结果：
- Training Set 分两组：
- Training Set: train model
- Validation Set: 看小模型结果选mode
- 选完后用全部training data跑 最优model，再进行test
- 这样testing data结果较为真实， avoid public training data bias

Bias：

- unbias: 期望值等于u
- 期望值estimator 与 靶心 中的距离 为bias
- Error 来自 bias过大：under-fitting
- Model cannot fit training data
--> Introduce more features OR choose a more complex model

Variance：

- 瞄准了靶心射偏了：variance
- Error 来自 variance过大：over-fitting
- Model cannot fit testing data
--> Introduce more training data OR Regularization