周志华 机器学习 笔记

第1章

1.4归纳偏好

学习算法自身的归纳偏好与问题是否相配，往往会起到决定作用。

对于上面这句话：你的输入数据被怎么处理，最终得到什么结果，我认为偏好指的就是这个处理的过程。线性非线性？那些feature忽略掉？怎么利用这些数据？更具体一些，你用网络处理，还是传统方法，数据的分布和你的处理方法相符吗？

没有免费的午餐定理

也可以说是没有放之四海皆准的算法。针对不同的问题要有不同的模型与参数。比如人脸识别就得用metric learning，你用svm那根本没法给标签。

以及这两句是一个意思。。。延伸一下，努力不是放之四海而皆准的，不是看起来忙就是努力，也不是努力就一定能比不不努力强，你得目的驱动，看任务设计计划。

第2章

2.1经验误差与过拟合

训练误差training error empirical error，训练数据的error，泛化误差，generalization error。

一般都用 training error做参数训练，模型建立，根据训练数据的error而优化模型。而test error 就是我们用来评判模型好坏的标准了。

over fitting underfitting

overfitting把training 样本的特点当作该类的特点，会把本来是本类的分为其他。underfitting特点提取的不够，会把其他有本类一些特点的物品认为是本类。