金融风控训练营-Task05学习笔记

本学习笔记为阿里云天池龙珠计划金融风控训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/activity/promotion/aicampfr

一、学习知识点概要

• 模型融合方式
• 平均法
• 投票法
• Stacking
• Blending
• 两者区别

二、学习内容

2.1模型融合方式

• 平均
  • 简单平均法
  • 加权平均法
• 投票
  • 简单投票法
  • 加权投票法
• 综合
  • 排序融合
  • log融合
• stacking
  • 构建多层模型，并利用预测结果再拟合预测。
• blending
  • 选取部分数据预测训练得到预测结果作为新特征，带入剩下的数据中预测。
• boosting/bagging

2.2 平均

2.2.1简单加权平均法

结果直接融合，求多个预测结果的平均值。
pre1-pren分别是n组模型预测出来的结果，将其进行加权融
pre = (pre1 + pre2 + pre3 +…+pren )/n

2.2.2加权平均法

一般根据之前预测模型的准确率，进行加权融合，将准确性高的模型赋予更高的权重。
pre = 0.3pre1 + 0.3pre2 + 0.4pre3

2.3 投票

2.3.1简单投票

from xgboost import XGBClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, VotingClassifier
clf1 = LogisticRegression(random_state=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = XGBClassifier(learning_rate=0.1, n_estimators=150, max_depth=4, min_child_weight=