基于贝叶斯模型的随机森林预测方法分析汽车燃油经济性

最近我们被客户要求撰写关于贝叶斯模型的研究报告，包括一些图形和统计输出。

这个例子展示了如何用Matlab实现贝叶斯优化，使用分位数误差调整回归树随机森林的超参数。如果你打算使用模型来预测条件量值而不是条件平均值，那么使用分位数误差而不是平均平方误差来调整模型是合适的。

 视频：从决策树到随机森林：R语言信用卡违约分析信贷数据实例

从决策树到随机森林：R语言信用卡违约分析信贷数据实例

，时长10:11

加载和预处理数据

加载数据集。考虑建立一个模型，预测一辆汽车的燃油经济性中位数，给定它的加速度、汽缸数、发动机排量、马力、制造商、型号和重量。考虑将汽缸数、制造商和型号_年份作为分类变量。 

Cylinders = categorical(Cylinders);

指定调整参数

考虑调整:

• 森林中的树木的复杂性（深度）。深的树倾向于过度拟合，但浅的树倾向于欠拟合。因此，规定每片叶子的最小观测值数量最多为20。

• 生长树时，在每个节点上要采样的预测器数量。指定从1到所有预测的采样。

实现贝叶斯优化的函数，要求你将这些参数作为优化变量对象传递。 

optim('minLS',[1,maxMinLS],'Type');

超参数随机森林是一个2乘1的优化变量对象数组

贝叶斯优化倾向于选择包含很多树的随机森林，因为具有更多学习者的合集更准确。如果可用的计算资源是一个考虑因素，并且你倾向于树数较少的合集，那么可以考虑将树的数量与其他参数分开调整，或者对含有许多学习者的模型进行惩罚。

定义目标函数

为贝叶斯优化算法定义一个要优化的目标函数。该函数应：

• 接受要调整的参数作为输入。

• 使用TreeBagger训练一个随机森林。在TreeBagger调用中，指定要调整的参数并指定返回袋外指数。

• 根据中位数估计袋外分位数误差。

• 返回袋外数据的分位数误差。

function Err = RF(X)
%训练随机森林并估计袋外的分位数误差
% 使用X中的预测数据和params中的参数说明，训练一个由300棵回归树组成的随机森林，然后根据中位数返回袋外误差。X是一个表，params是一个数组，对应于每个节点的最小叶子大小和预测器数量来采样。
randomForest = Tree(300,X);
Error(randomForest);

使用贝叶斯优化实现目标最小化

使用贝叶斯优化法，找到在树的复杂性和每个节点的预测因子数量方面达到最小的、惩罚的、袋外分位数误差的模型。

bayes(@(params)oobErrRF,parameters,...);

结果是一个BayesianOptimization对象，其中包括目标函数的最小值和优化的超参数值。

显示观察到的目标函数的最小值和优化的超参数值。

MinObjective
bestHyperpara

使用优化的超参数训练模型

使用整个数据集和优化的超参数值训练一个随机森林。 

Tree(300,X,'MPG','regression',...);

Mdl是为中位数预测优化的TreeBagger对象。你可以通过将Mdl和新数据传递给quantilePredict来预测给定的预测数据的燃油经济性中值。