机器学习与智能优化 之 学习也民主

要点

拥有一些不同的准确率相似的模型让你能够做一些独立使用这些模型之外的提升性能的方法（合作法，议会，机器学习内的民主）。

在堆叠或混合方法中，这些系统由在独立模型输出上添加一层组合而来。

创造多样性有不同 的方法策略。在bagging（bootstrap aggregation）中，对同一个样本集做有替换的采样。在boosting中，与添加模型相关，一系列的模型被训练，因此，现在系统中最难的样本能够为新添加的组件而拥有更大的权值。用不同的特征子集或者不同的随机数生成器是创造多样性的另外方法。Error-correcting output codes为多位输出比特提供冗余的模型编码以增加应对独立错误的鲁棒性。

Additive logistic regression 是通过增加模型和类牛顿优化来解释boosting 的优雅方法。优化加速了我们知识的增长。

机器学习中的合作法与爵士音乐类似：整体大于部分的和。音乐家和模型都协同工作，互相依靠，胜过自己单独的创造。