matlab贝叶斯回归,matlab使用贝叶斯优化的深度学习

原标题：matlab使用贝叶斯优化的深度学习

原文链接：http://tecdat.cn/?p=7954

此示例说明如何将贝叶斯优化应用于深度学习，以及如何为卷积神经网络找到最佳网络超参数和训练选项。

要训练深度神经网络，必须指定神经网络架构以及训练算法的选项。选择和调整这些超参数可能很困难并且需要时间。贝叶斯优化是一种非常适合用于优化分类和回归模型的超参数的算法。

准备数据

下载CIFAR-10数据集[1]。该数据集包含60,000张图像，每个图像的大小为32 x 32和三个颜色通道(RGB)。整个数据集的大小为175 MB。

加载CIFAR-10数据集作为训练图像和标签，并测试图像和标签。

[XTrain,YTrain,XTest,YTest] = loadCIFARData(datadir);

idx = randperm(numel(YTest),5000);

XValidation = XTest(:,:,:,idx);

XTest(:,:,:,idx) = [];

YValidation = YTest(idx);

YTest(idx) = [];

您可以使用以下代码显示训练图像的样本。

figure; idx = randperm(numel(YTrain),20); for i = 1:numel(idx) subplot(4,5,i); imshow(XTrain(:,:,:,idx(i))); end

选择要优化的变量

选择要使用贝叶斯优化进行优化的变量，并指定要搜索的范围。此外，指定变量是否为整数以及是否在对数空间中搜索区间。优化以下变量：

网络部分的深度。此参数控制网络的深度。该网络具有三个部分，每个部分具有SectionDepth相同的卷积层。因此，卷积层的总数为3*SectionDepth。脚本后面的目标函数将每一层中的卷积过滤器数量与成正比1/sqrt(SectionDepth)。结果，对于不同的截面深度，每次迭代的参数数量和所需的计算量大致相同。

最佳学习率取决于您的数据以及您正在训练的网络。

随机梯度下降动量。

L2正则化强度。

optimVars = [

optimizableVariable('SectionDepth'，[1 3]，'Type'，'integer')

optimizableVariable('InitialLearnRate'，[1e-2 1]，'Transform'，'log')

optimizableVariable('Momentum'，[0.8 0.98])

optimizableVariable('L2Regularization'，[1e-10 1e-2]，'Transform'，'log')];

执行贝叶斯优化

使用训练和验证数据作为输入，为贝叶斯优化器创建目标函数。目标函数训练卷积神经网络，并在验证集上返回分类误差。

ObjFcn = makeObjFcn(XTrain，YTrain，XValidation，YValidation);

通过最小化验证集上的分类误差来执行贝叶斯优化。 为了充分利用贝叶斯优化的功能，您应该至少执行30个目标函数评估。

每个网络完成训练后，bayesopt将结果打印到命令窗口。bayesopt然后该函数返回中的文件名BayesObject.UserDataTrace。目标函数将训练有素的网络保存到磁盘，并将文件名返回给bayesopt。

|==================