Kaggle房价预测-Lasso线性规划代入学习

https://www.kaggle.com/apapiu/regularized-linear-models

本次学习的是这个房价预测一个高赞的kernel，使用了线性规划得到了类似Xgboost模型的效果(同样给了Xgboost的方法，并说神经网络的效果不是特别好)，并给出了详细的步骤，具体的代码可以打开网站学习，这里简要记叙一下所应用方法的思路。

 

可阅读

xgboost 算法原理

 

来自 <http://blog.csdn.net/a1b2c3d4123456/article/details/52849091>

 

 

 

作者Alexandru具体方法如下：

 

1.    将测试级和训练集的数据统一做数据处理。通过代码

train.head()

        获得对应数据

 

2.    数据处理，主要是将偏态分布的数据通过log(x+1)(+1是log取零不行)

skewed_feats= train[numeric_feats].apply(lambda x: skew(x.dropna())) #compute skewness
skewed_feats = skewed_feats[skewed_feats > 0.75]
skewed_feats = skewed_feats.index
同样，对于数据偏态超过0.75的，同样做log处理，保证正态性。

 

对于缺失值，直接用普遍平均值补全，用测试集同样处理是个好方法（或能更符合普遍规律并补全测试集）

 

对于无序离散值，全部使用one-hot

 

为了符合模型的优化速度要求做了归一化

 

3.    模型目标函数使用了ridge 和lasso两种回归，对于超参数 入 通过测试出平方差和最小的，

 

 

可阅读 

线性模型（三）－－ridge、lasso、ElasticNet回归

 

来自<http://blog.csdn.net/fleurdalis/article/details/55059516>

 

 

最后得出lasso效果最好，同时由于lasso模型本身的优点，可以通过0值去除掉许多不影响的高位变量，并获得变量权重。

最后得到预测值和结果值的残差（不太理解用什么结果值怎么得，或许是交叉验证法，横坐标应该是因为log后所以是十几这样）

4.    接着作者尝试了xgboost，想用此来提升分数，在两种方案的对比中，似乎效果差别不大。但还是一些偏差较大点。

很多时候对不相关的结果进行加权平均很有意义 - 这通常会影响分数，尽管在这种情况下它并没有太大的帮助。（集成学习原理中集成不相关且预测准确率超过0.5的模型，会得到比最差模型好的效果，加权效果好时可以超过所有单个模型）

 

于是取了个加权平均，以此获得最终结果。

preds= 0.7*lasso_preds + 0.3*xgb_preds