机器学习理论分析

机器学习内在划分逻辑

Scenario 训练场景 由拿到的数据决定
task 任务类型 由想得到的输出决定
method 所选择的function set

只是specialize了Classifacaiton 的具体分类，但是每个senerio 都包含这些task, 每个task 都包含这些method。

误差来源

模型误差=bias(训练集上误差)+varience（测试集上误差）
训练的目的：
1.training set 上误差小，即bias小
2.traning set 误差 接近 test set 误差，即varience 小
模型越复杂，拟合的越好，也就是bias越小，但是受训练集数据个别点的影响就大，也就是预测出来的点较为离散，varience越大。
模型越简单，受个别训练数据的影响就越小，就是说模型稳定性较强，varience越小，但是一开始对训练数据的拟合就不好了。

调参技巧

• bn+Relu
• SGD +动量 比较慢 但是可能比ADAM 收敛得好
• Adam等自适应学习率算法对于稀疏数据具有优势，且收敛速度很快
• tensorboard 监控训练指标