集成学习
夕阳之后的黑夜
软件工程(金融大数据)方向本科生。电子信息(人工智能)方向研究生。
展开
-
随机森林算法实例
随机森林大致过程如下:1)从样本集中有放回随机采样选出 n 个样本;2)从所有特征中随机选择 k 个特征,对选出的样本利用这些特征建立决策树(一般是CART,也可是别的或混合使用);3)重复以上两步 m 次,即生成 m 棵决策树,形成随机森林;4)对于新数据,经过每棵树决策,最后投票确认分到哪一类。#读取数据import pandas as pddata = pd.read_csv('/data/train.csv')data.head()#提取特征值和标签值X=data.原创 2022-05-30 19:54:34 · 4269 阅读 · 1 评论 -
Boosting实例(AdaBoost)
#读取数据import pandas as pddata=pd.read_csv('/data/train.csv')data.head()#提取特征值和标签值X=data.iloc[:,:-1].values#提取特征值y=data.iloc[:,-1].values#提取标签值#划分训练集与测试集,参数test_size设为0.2,random_state设为7from sklearn.model_selection import train_test_splitx_tra...原创 2022-05-30 16:06:36 · 303 阅读 · 0 评论 -
集成学习概述
机器学习过程中,除了使用单一算法模型外,还可以使用集成学习模型。集成学习通过构建多个学习器并将其结合,从而更好地完成预测任务,也常被称为模型融合或者基于委员会的学习。模型融合的一般步骤是,首先产生一系列“个体学习器”,然后通过某种策略将这些“个体学习器”组合起来使用,从而获得更好的预测效果。目前,融合模型根据个体学习器生成方式的不同,可以分为两大类:个体学习器之间存在强依赖关系、必须串行生成的序列化算法,代表算法是Boosting 个体学习器之间不存在强依赖关系、可...原创 2022-04-20 17:40:16 · 939 阅读 · 0 评论