上一篇 3.数据验证
现在我们已经学习了如何检测一个模型的准确性,接下来就可以根据不同的模型得到的结果进行一个选择。
一个决策树可以有很多枝叶,当枝叶非常多,枝叶下面的house就会变少,预测基于的house少,那么它就只适用于样本内数据,对于新数据来说没有太多适配性,这就叫做overfitting;然而,当一个决策树分的枝叶很少 ,它对于训练集的拟合效果也不是很好,这就叫做underfitting
现在,我们用之前的例子调整参数,试着找到一个最适配的决策树模型。
from sklearn.metrics import mean_absolute_error
from sklearn.tree import DecisionTreeRegressor
def get_mae(max_leaf_nodes, train_X, val_X, train_y, val_y):
model = DecisionTreeRegressor(max_leaf_nodes=max_leaf_nodes, random_state=0)
model.fit(train_X, train_y)
preds_val = model.predict(val_X)
mae = mean_absolute_error(val_y, preds_val)
return(mae)
自定义一个get_mae函数
# compare MAE with differing values of max_leaf_nodes
for max_leaf_nodes in [5, 50, 500, 5000]:
my_mae = get_mae(max_leaf_nodes, train_X, val_X, train_y, val_y)
print("Max leaf nodes: %d \t\t Mean Absolute Error: %d" %(max_leaf_nodes, my_mae))
结果为:
Max leaf nodes: 5 Mean Absolute Error: 347380
Max leaf nodes: 50 Mean Absolute Error: 258171
Max leaf nodes: 500 Mean Absolute Error: 243495
Max leaf nodes: 5000 Mean Absolute Error: 254983
根据结果可知,max leaf nodes在500的时候拟合效果最好
下一篇:5.随机森林