集成学习-task3-学习投票法和bagging

学习目标：

• 学习投票法和bagging理论与代码应用

---

学习内容：

投票法

投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。
投票法是集成学习中常用的技巧，可以帮助我们提高模型的泛化能力，减少模型的错误率。

投票法在回归模型与分类模型上均可使用：

• 回归投票法：预测结果是所有模型预测结果的平均值。
• 分类投票法：预测结果是所有模型种出现最多的预测结果。

分类投票法又可以被划分为硬投票与软投票：

• 硬投票：预测结果是所有投票结果最多出现的类。
• 软投票：预测结果是所有投票结果中概率加和最大的类。
  但在实际应用上，想要投票法产生较好的结果，需要满足两个条件：
• 基模型之间的效果不能差别过大。当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
• 基模型之间应该有较小的同质性。例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。
  当投票合集中使用的模型能预测出清晰的类别标签时，适合使用硬投票。当投票集合中使用的模型能预测类别的概率时，适合使用软投票。软投票同样可以用于那些本身并不预测类成员概率的模型，只要他们可以输出类似于概率的预测分数值（例如支持向量机、k-最近邻和决策树）。

投票法的局限性在于，它对所有模型的处理是一样的，这意味着所有模型对预测的贡献是一样的。如果一些模型在某些情况下很好，而在其他情况下很差，这是使用投票法时需要考虑到的一个问题。

投票法案例分析

from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import VotingClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

models = [('lr',LogisticRegression()),('svm',SVC())]
ensemble = VotingClassifier(estimators=models)

有时某些模型需要一些预处理操作，我们可以为他们定义Pipeline完成模型预处理工作

models = [('lr',LogisticRegression()),('svm',make_pipeline(StandardScaler(),SVC()))]
ensemble = VotingClassifier(estimators=models)

模型还提供了voting参数让我们选择软投票或者硬投票：

models = [('lr',LogisticRegression()),('svm',SVC())]
ensemble = VotingClassifier