人工智能笔记5---集成学习 聚类Ensemble & Clustering

Ensemble(集成学习)

这是一种思想。对某一特定问题, 用多个模型来进行训练。

Ensemble methods

前情提要

Majority Voting

随机选择的hyperplane的错误率error of 0.5，经过Majority voting集成，错误率还是0.5

假设我们有m个slightly-better-than-random的分类器，每一个的表现都比随机好一点点，也就是error = 0.5-ε。

Condorcet's Jury Theorem：

假设：

1. 每个人做出正确选择的概率为p。
2. 投票是独立的。

那么增加更多的选民，就会让决定更正确。反之亦然。

Ensemble Methods(集成方法)

集成方法通过majority voting结合许多individual classifier的预测。

Weak learner：代表每一个individual classifier。被要求表现比随机好一点。

产生互相独立的weak learner的方法：使用strategy。