【李宏毅】机器学习深度学习笔记 -- 训练模型通关攻略

详细视频戳 --> 机器学习任务攻略

若训练结果不满意：首先检查 training data 的 loss ，看你的model在training data上有没有学起来，然后再去看testing的结果。

model bias

即你的model太简单，model的弹性不够大。

解决方法：重新设置model

1. 增加输入的features
2. Deep Learning ： more neurons,layers.（增加model的弹性）

Optimization Issue

即 gradient descent 的演算法不能找到 loss 低的 function 。

辨别是否为 optimization issue 的方法

可通过比较不同的模型来得知 model 的弹性是否够大：查看 training data 上的 loss 值。

overfitting

即在训练的数据中错误率较低，但是在预测的数据中错误率较高的情况。

使用一个极端例子来说明 Overfitting 的情况：

一般例子：model 的弹性太大

解决overfitting的方法：

1. 增加训练资料（最有效且最好用的方法）
（1）通过搜集更多的资料来添加数据
（2）data augmentation（根据自己的理解创造出新的资料，比如做图像识别的时候，你可以将图片左右反转、放大等操作，但一定要合理处理）

2. 给model一些限制（比如限定为二次曲线）（如何限制的方法后续再补充）

下图是限制model的五种方法：

但也不要给过多限制，否则就变成了model bias的问题啦！

数据集切割

计算微分的工具包：