文章目录
- 写在前面
写在前面
[视频学习-bilibili] | [课程主页——sample code & slide] | [ML2021学习笔记]
2.1 机器学习任务攻略
机器学习三部曲:1.定义含有参数的f;2.构造含有参数的loss;3.找到最优解θ
General Guide
Model Bias
Optimization Issue
怎么判断是Model Bias 还是 Optimization?(越大的网络loss反而更高是Optimization的问题,注意与过拟合的区别:过拟合是训练集表现好,但是测试集表现差)
先用小模型(甚至不是NN方法)看一下loss,再train 深的模型的loss,如果loss还大,那么是Optimization问题(大的模型loss应该更低)
Overfitting:是train的loss小,test的loss大才是overfitting
解决Overfitting:More training data(可能是最有效的方法,但是不现实),Data augmentation(要根据自己对资料的特性,理解来做Data augmentation,没人会做图像上下颠倒,不然网络会学到奇奇怪怪的东西)
Early stopping
Bias-Complexity Trade-off
并不是选test loss最低的模型
Cross Validation
N-fold Cross Validation
General Guide(大总结)
mismatch(所以要做 数据分析,看看训练和测试资料是否 分布相似)