房价预测5--Regression--Boosting（AdaBoost / xgboost）

最新推荐文章于 2024-08-17 15:32:06 发布
最新推荐文章于 2024-08-17 15:32:06 发布
阅读量1k 收藏 10
点赞数 2
分类专栏： kaggle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43955530/article/details/89019876
版权

1.数据处理

import numpy as np
import pandas as pd

train_data = pd.read_csv('E:/机器学习/my_code_kaggle/lesson2/input/train.csv',index_col = 0)
test_data = pd.read_csv('E:/机器学习/my_code_kaggle/lesson2/input/test.csv',index_col = 0)

y_train = train_data['SalePrice']
X_train = train_data.drop(['SalePrice'],axis = 1)

#判断平滑性
#y_train.hist()
#发现平滑性不怎么样，最好分布图类似于一个正态分布就比较好
y_train_log = np.log1p(y_train)
#y_train_log.hist()

#把数据拼接在一起处理
data = pd.concat((X_train,test_data),axis = 0)

#MSSubClass属性的数值无意义，作为类别标签看待，转为字符串
#MSSubClass是Categorical类型，用One-Hot的方法来表示
#pandas自带get_dummies方法，一键做到One-Hot
data['MSSubClass'] = data['MSSubClass'].astype(str)
#print(data['MSSubClass'].value_counts())


#把MSSubClass换成字符串标签了之后，就和其他的英文分类差不多了，直接dummy
dummy_data = pd.get_dummies(data)#属性由79个变成了302个，1460*303


#查看各个属性缺失值的个数,用平均值填补缺失值
#print(dummy_train.isnull().sum().sort_values(ascending = False).head(10))
mean_cols = dummy_data.mean()
dummy_data = dummy_data.fillna(mean_cols)#用mean_cols来填满空缺值
#print(dummy_data.isnull().sum().sum())#确定没有空缺值了

#做regression的时候最好先标准化一下
#标准化numerical类型数据，不是One-Hot变成的numerical
numeric_cols = data.columns[data.dtypes != 'object']
#print(numeric_cols)#len(numeric_cols) = 36

numeric_col_means = dummy_data.loc[:,numeric_cols].mean()
numeric_col_std = dummy_data.loc[:,numeric_cols].std()
dummy_data.loc[:,numeric_cols] = (dummy_data.loc[:,numeric_cols]-numeric_col_means)/numeric_col_std

#合在一起处理完特征之后，分开测试集和训练集
dummy_train = dummy_data.loc[train_data.index,:]
dummy_test = dummy_data.loc[test_data.index,:]

2.弱分类器还是用ridge

#弱分类器ridge
from sklearn import linear_model
ridge = linear_model.Ridge(alpha = 15)
ridge.fit(dummy_train,y_train_log)

3.用AdaBoost

##Boosting
#AdaBoodt
from sklearn.ensemble import AdaBoostRegressor
from sklearn.model_selection import cross_val_score

params = [2,3,4,5,6,7,8,9,10]
test_scores = []
for param in params:
    clf = AdaBoostRegressor(n_estimators=param, base_estimator=ridge)
    test_score = np.sqrt(-cross_val_score(clf, dummy_train, y_train_log, cv=10, scoring='neg_mean_squared_error'))
    test_scores.append(np.mean(test_score))


#显示结果
import matplotlib.pyplot as plt
plt.plot(params,test_scores)
plt.title('n_estimators vs CV Error')

在这里插入图片描述
在这里插入图片描述
均方误差越来越大，而且每次跑出来的结果都不一样，这应该是cross validation的原因，加上adaboost本身就不是很稳定
扩充了弱分类器的个数，发现均方误差也是一个递增的趋势
在这里插入图片描述
这么看好像分类器个数越少越好？？？
有的时候确实能够在35的时候看到最佳点，但是这基本都是随缘，而且均方误差来看也不怎么样
在这里插入图片描述
暴力的用2到50全部算了一遍，均方误差还是一个递增的趋势
在这里插入图片描述
可能还是把个数控制在10个以内比较好？请大神指教！！！

4.用xgboost

##Boosting
#XGBoost
from xgboost import XGBRegressor
from sklearn.model_selection import cross_val_score

params = [1,2,3,4,5,6]
test_scores = []
for param in params:
    clf = XGBRegressor(max_depth = param)
    test_score = np.sqrt(-cross_val_score(clf,dummy_train,y_train_log,cv = 10,scoring = 'neg_mean_squared_error'))
    test_scores.append(np.mean(test_score))
    

#显示结果
import matplotlib.pyplot as plt
plt.plot(params,test_scores)
plt.title('n_estimators vs CV Error')

在这里插入图片描述
可以看到当深度为5的时候，均方误差已经低于0.13了课件xgboost是目前最好的模型

5.完整代码

import numpy as np
import pandas as pd

train_data = pd.read_csv('E:/机器学习/my_code_kaggle/lesson2/input/train.csv',index_col = 0)
test_data = pd.read_csv('E:/机器学习/my_code_kaggle/lesson2/input/test.csv',index_col = 0)

y_train = train_data['SalePrice']
X_train = train_data.drop(['SalePrice'],axis = 1)

#判断平滑性
#y_train.hist()
#发现平滑性不怎么样，最好分布图类似于一个正态分布就比较好
y_train_log = np.log1p(y_train)
#y_train_log.hist()

#把数据拼接在一起处理
data = pd.concat((X_train,test_data),axis = 0)

#MSSubClass属性的数值无意义，作为类别标签看待，转为字符串
#MSSubClass是Categorical类型，用One-Hot的方法来表示
#pandas自带get_dummies方法，一键做到One-Hot
data['MSSubClass'] = data['MSSubClass'].astype(str)
#print(data['MSSubClass'].value_counts())


#把MSSubClass换成字符串标签了之后，就和其他的英文分类差不多了，直接dummy
dummy_data = pd.get_dummies(data)#属性由79个变成了302个，1460*303


#查看各个属性缺失值的个数,用平均值填补缺失值
#print(dummy_train.isnull().sum().sort_values(ascending = False).head(10))
mean_cols = dummy_data.mean()
dummy_data = dummy_data.fillna(mean_cols)#用mean_cols来填满空缺值
#print(dummy_data.isnull().sum().sum())#确定没有空缺值了

#做regression的时候最好先标准化一下
#标准化numerical类型数据，不是One-Hot变成的numerical
numeric_cols = data.columns[data.dtypes != 'object']
#print(numeric_cols)#len(numeric_cols) = 36

numeric_col_means = dummy_data.loc[:,numeric_cols].mean()
numeric_col_std = dummy_data.loc[:,numeric_cols].std()
dummy_data.loc[:,numeric_cols] = (dummy_data.loc[:,numeric_cols]-numeric_col_means)/numeric_col_std

#合在一起处理完特征之后，分开测试集和训练集
dummy_train = dummy_data.loc[train_data.index,:]
dummy_test = dummy_data.loc[test_data.index,:]

#弱分类器ridge
from sklearn import linear_model
ridge = linear_model.Ridge(alpha = 15)
ridge.fit(dummy_train,y_train_log)

##Boosting
#AdaBoodt

#from sklearn.ensemble import AdaBoostRegressor
#from sklearn.model_selection import cross_val_score
#
#params = [10,15,20,25,30,35,40]
#test_scores = []
#for param in params:
#    clf = AdaBoostRegressor(n_estimators=param, base_estimator=ridge)
#    test_score = np.sqrt(-cross_val_score(clf, dummy_train, y_train_log, cv=10, scoring='neg_mean_squared_error'))
#    test_scores.append(np.mean(test_score))


##Boosting
#XGBoost
from xgboost import XGBRegressor
from sklearn.model_selection import cross_val_score

params = [1,2,3,4,5,6]
test_scores = []
for param in params:
    clf = XGBRegressor(max_depth = param)
    test_score = np.sqrt(-cross_val_score(clf,dummy_train,y_train_log,cv = 10,scoring = 'neg_mean_squared_error'))
    test_scores.append(np.mean(test_score))
    

#显示结果
import matplotlib.pyplot as plt
plt.plot(params,test_scores)
plt.title('n_estimators vs CV Error')

综上所述：

模型score
Ridge(alpha = 15)均方误差0.135
Random Forest(max_feature = 0.3)均方误差0.137
AdaBoost(参数是个谜！)均方误差0.14
xgboost(depth = 5)均方误差0.125
逆夏11111
关注
专栏目录
XGboost实例，数据，代码_数学模型_机器学习
09-23
包含XGboost的代码，数据，实例，讲解
Python实现AdaBoost回归模型(AdaBoostRegressor算法)并应用网格搜索算法调优项目实战
张陈亚的博客
07-12 3244
Python实现AdaBoost回归模型(AdaBoostRegressor算法)并应用网格搜索算法调优项目实战
GWO-BP-AdaBoost预测！灰狼优化、人工神经网络与AdaBoost集成学习算法预测研究（Matlab代码实现）
最新发布
Yan_she_He的博客
08-17 960
参考文献：GWO-BP-AdaBoost预测研究是指将灰狼优化（Grey Wolf Optimizer, GWO）、人工神经网络（Back Propagation Neural Network, BPNN）与AdaBoost集成学习算法结合起来的一种预测模型应用研究。这种综合方法利用了各算法的优点，旨在提高预测精度和泛化能力。
机器学习之集成学习AdaBoostRegressor回归器
muli
12-03 1万+
机器学习之集成学习AdaBoostRegressor回归器 # -*- coding: utf-8 -*- """ Created on Mon Dec 3 22:11:14 2018 @author: muli """ import matplotlib.pyplot as plt import numpy as np from sklearn import datasets,cros...
AdaBoost基本原理与算法描述
Y学习使我快乐V的博客
08-21 2万+
一. 前言 最近在看集成学习方法，前面已经对XGBoost的原理与简单实践做了介绍，这次对AdaBoost算法做个学习笔记，来巩固自己所学的知识，同时也希望对需要帮助的人有所帮助。 关于集成学习主要有两大分支，一种是bagging方法，一种是boosting方法。 bagging方法的弱学习器之间没有依赖关系，各个学习器可以并行生成，最终通过某种策略进行集成得到强学习器（比如回归问题用所有弱...
【集成学习系列教程2】AdaBoost回归算法原理及sklearn应用
qq_42554780的博客
10-08 1万+
文章目录4 AdaBoost回归算法4.1 概要4.2 算法步骤4.3 sklearn中的AdaBoost回归4.3.1 原型4.3.2 参数4.3.3 属性4.3.4 常用方法4.4 实例3：使用AdaBoostRegressor完成回归任务4.4.1 数据集的创建与可视化4.4.2 不同参数的AdaBoost回归器拟合效果对比 4 AdaBoost回归算法 4.1 概要 AdaBoost算法不仅可以用于分类任务，还可以用于回归任务。由于回归预测得到的结果是连续数值，如股票价格，由于股票价格走势曲线是连续
Additive logistic regression-a statistical view of boosting.pdf
09-14
该论文深入探讨了提升（Boosting）这一分类方法的统计基础，特别是将其与加法逻辑回归模型联系起来。 提升方法是近年来分类方法中的一个重要突破。其工作原理是通过连续地对训练数据进行重加权，然后将一系列分类器...
Two-stage-TrAdaboost.R2
05-11
Pardoe的论文“回归传递的提升（ICML 2010）”中的两阶段TrAdaBoost.R2算法 描述 这是Pardoe等人提出的基于Boost的回归任务转移学习算法（TwoStageTrAdaBoostR2）。 在论文“回归传递的提升（ICML 2010）”中。...
scikit-learn-0.18.tar.gz
10-28
此外，scikit-learn还支持集成学习方法，如Bagging、Boosting和AdaBoost。其中，梯度提升机器（Gradient Boosting Machines，GBM）在0.18版本中是一个强大的工具，它可以逐步增强弱预测器，形成一个强预测器。`...
Python库 | scikit_learn-0.19.0-cp35-cp35m-win32.whl
02-19
5. **集成方法**：如AdaBoost、梯度提升机(Gradient Boosting)、Bagging和随机森林(Random Forest)。 6. **模型选择和评估**：提供交叉验证(Cross-Validation)、网格搜索(Grid Search)等工具，用于模型参数调优和...
Machine Learning A-Z Chinese Template Folder_learninga-z使用_pytho
10-02
"Part 10 - Model Selection & Boosting"介绍模型选择和增强方法，如网格搜索、随机搜索以及AdaBoost、Gradient Boosting等，这些都是提高模型性能的重要策略。 此外，"Part 6 - Reinforcement Learning"涵盖了强化...
MATLAB实现SSA-XGBoost多输入回归预测（完整源码和数据）
10-24
MATLAB实现SSA-XGBoost多输入回归预测（完整源码和数据） 麻雀算法优化XGBoost，数据为多输入回归数据，输入7个特征，输出1个变量,程序乱码是由于版本不一致导致，可以用记事本打开复制到你的文件。 运行环境MATLAB2018b及以上。
XGBoost -Regression
mzx8181的博客
08-01 218
CART是一种决策树模型，可以用于分类或者回归.CART学习算法共分为两步：第一步是决策树生成：用训练数据生成决策树，生成的树尽可能大；第二步决策树剪枝：基于损失函数最小化进行剪枝，用验证数据对生成的数据剪枝。针对回归树，使用平方损失来表示回归树对于训练数据的预测误差，平方误差最小处即为最优输出值xi​∈Rm​∑​yi​−fxi​2回归树采用采用启发式的方法，根据特征分裂成左子树和右子树。如，对于第j个变量xj​作为划分特征，xj​sR1​js。
python实现xgboost回归
Spirit_6275的博客
07-07 5988
1、本文实现的是一个简易版的xgboost回归例子，只是为了帮助理解xgboost底层原理，大部分的代码与gbdt类似 2、与gbdt不同的是xgboost的新cart树生成的残差为W = G / (H + lambd)，其中G为一阶导数：2 * （y - ypred）,H为二阶导等于2 3、由于xgboost的分裂条件还有依赖与Gain，本文主要是为了验证残差部分，就忽略了 代码 import numpy as np from collections import Counter import
xgboost入门与实战（原理篇）
热门推荐
hczheng的专栏
09-16 29万+
xgboost入门与实战（原理篇）前言： xgboost是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包，比常见的工具包快10倍以上。在数据科学方面，有大量kaggle选手选用它进行数据挖掘比赛，其中包括两个以上kaggle比赛的夺冠方案。在工业界规模方面，xgboost的分布式版本有广泛的可移植性，支持在YARN, MPI, Sungrid En
XGBoost的原理推导及常见问题
年糕的博客
10-22 261
xgboost原理推导 XGBoost问题 上篇 XGBoost问题 下篇
xgboost 用法讲解
stranger_man的博客
12-09 8654
import xgboost/home/yanghua/anaconda2/lib/python2.7/site-packages/sklearn/cross_validation.py:41: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module i
XGboost
weixin_44235615的博客
07-15 658
XGBoost简介 XGBoost是GBDT（梯度下降树，Gradient Boosting Decision Tree）的一种，也是加法模型和前向优化算法。在监督学习中，可以分为：模型、参数、目标函数、学习方法。 模型：给定输入x后预测输出y的方法，比如说回归，分类，排序等。 参数：模型中的参数，比如线性回归中的权重和偏置。 目标函数：即损失函数，包含正则化项。 学习方法：给定目标函数后求解模型和参数的方法，比如：梯度下降法，数学推导等等。一般都是使用梯度下降的方法。 从这四个方面来构建XGBo
win10 下xgboost的安装----终极版
鱼香土豆丝
04-29 1万+
前言在最近的比赛中用到了xgboost这个比赛神器，由于在matlab中有大量的现有函数，且切换双系统太麻烦，因袭想在win10上安装xgboost来简化操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值