周志华《机器学习》笔记1
没有免费午餐定理(No free lunch Theorem)
前提:当所有“问题”出现的概率相等,或者我们同时关注机器学习中所有的问题。
内容:如果一种算法A,在某些问题上好于算法B,那么必然存在另一些问题,使得算法A性能弱于B。
数学证明:对于同一样本空间,总误差与学习算法无关
含义:脱离特定的实际问题,是无法讨论算法的优劣的。特定的学习问题有特定适合的算法,不应该拘泥于某种算法,而是根据实际问题选择。
机器学习主流技术
1. 从样例中学习
顾名思义,即根据数据特征进行学习,如决策树,BP神经网络


