网格搜索多个监督学习模型上的超参数，包括神经网络、随机森林和树集合模型（Matlab代码实现）

       目录

💥1 概述

📚2 运行结果

🎉3 参考文献

👨‍💻4 Matlab代码

---

💥1 概述

我们在选择超参数有两个途径：1)凭经验；2)选择不同大小的参数，带入到模型中，挑选表现最好的参数。通过途径2选择超参数时，人力手动调节注意力成本太高，非常不值得。For循环或类似于for循环的方法受限于太过分明的层次，不够简洁与灵活，注意力成本高，易出错。GridSearchCV 称为网格搜索交叉验证调参，它通过遍历传入的参数的所有排列组合，通过交叉验证的方式，返回所有参数组合下的评价指标得分。

GridSearchCV听起来很高大上，其实就是暴力搜索。注意的是，该方法在小数据集上很有用，数据集大了就不太适用了。数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它其实是一种贪心算法：拿当前对模型影响最大的参数调优，直到最优化；再拿下一个影响最大的参数调优，如此下去，直到所有的参数调整完毕。这个方法的缺点就是可能会调到局部最优而不是全局最优，但是省时间省力。​​

📚2 运行结果

主函数部分代码：

%% Setup

clear

clc

close all

start_time = tic;

%seed = rng(123);

global want_parellel

%% Inputs

%input_file = 'abalone.csv';

%feature_cols = 1:8;

%ignore_col = 18;

%target_col = 9;

input_file = 'BostonHousePriceDataset.csv';

feature_cols = 1:13;

%ignore_col = 18;

target_col = 14;

want_parellel = false;

val_perc = 0.15;

test_perc = 0.15;

want_all_display =true;

want_final_display = true;

want_plot = true;

%% Get data

table = readtable(input_file, 'PreserveVariableNames', 1);

VarNames = table.Properties.VariableNames';

data_raw = table2array(table);

%%remove ignore cols

%data_raw(:,ignore_col)=[];

%divide data into input and target matricies

x = data_raw(:,feature_cols);

target = data_raw(:,target_col);

%% Prepare the data

%Divide into train and test set

[x_train, x_val, x_test, ind_set] = divide_data(x, val_perc, test_perc);

[t_train, t_val, t_test] = apply_divide_data(target, ind_set);

%% Setup parellel workers

if want_parellel == true

    %open pool of workers

    p=gcp('nocreate');

    if isempty(p)==1

        parpool('local',num_workers);

        p=gcp();

    end

end

🎉3 参考文献

[1]蒋鹏. 小波理论在信号去噪和数据压缩中的应用研究[D].浙江大学,2004.

👨‍💻4 Matlab代码