MATLAB-DL6

迁移学习-文档示例

步骤

加载网络
导入新数据集
修改最后层
设置学习率，新层大，迁移层小
开始训练，APP或command

注意：如果使用的数据集与imageNet的网络很相似，则使用预定义的网络均是可以的

交互式迁移貌似2020a才有？？？

学会用analyze network

命令行式

unzip('MerchData.zip') %解压
%创建数据存储
imds=imageDatastore('MerchData','IncludeSubfolders',true,'LabelSource','foldernames')%创建数据存储并定义标签
[imdsTrain,imdsValidation]=splitEachLabel(imds,0.7,'randomized') %定义数据集合验证集

%导入预训练网络
net=googlenet
%analyzeNetwork(net)

%画图？？？
if isa(net,'SeriesNetwork')
	lgraph=layerGraph(net.Layers);
else
	lgraph=layerGraph(net);
end

%迁移更新
learnableLayer=net.Layers(142)
classLayer=net.Layers(end)

%所分类别
numClasses=numel(categories(imdsTrain.Labels))

%更改全连接、全卷积层
if isa(learnableLayer,'nnet.cnn.layer.FullyConnectedLayer')
	newLearnableLayer=fullyConnectedLayer(numClasses,'Name','new_fc','WeightLearnRateFactor',10,'BiasLearnRateFactor',10);
elseif isa(learnableLayer,'nnet.cnn.layer.Convolution2DLayer')
	newLearnableLayer=convolution2dLayer(1,numClasses,'Name','new_conv','WeightLearnRateFactor',10,'BiasLearnRateFactor',10);
end
lgraph=replaceLayer(lgraph,learnableLayer.Name,newLearnableLayer)

%更改输出分类层
newClassLayer=classificationLayer('Name','new_classoutput')
lgraph=replaceLayer(lgraph,classLayer.Name,newClassLayer)

%等待训练
%冻结前面层
layers = lgraph.Layers;
connections = lgraph.Connections;

layers(1:10) = freezeWeights(layers(1:10));
lgraph = createLgraphUsingConnections(layers,connections);

%数据增强
%调整训练集
pixelRange = [-30 30];
scaleRange = [0.9 1.1];
imageAugmenter = imageDataAugmenter( ...
    'RandXReflection',true, ...
    'RandXTranslation',pixelRange, ...
    'RandYTranslation',pixelRange, ...
    'RandXScale',scaleRange, ...
    'RandYScale',scaleRange);
augimdsTrain = augmentedImageDatastore(inputSize(1:2),imdsTrain, ...
    'DataAugmentation',imageAugmenter);
    
%调整验证集
augimdsValidation = augmentedImageDatastore(inputSize(1:2),imdsValidation);

%训练参数
miniBatchSize = 10;
valFrequency = floor(numel(augimdsTrain.Files)/miniBatchSize);
options = trainingOptions('sgdm', ...
    'MiniBatchSize',miniBatchSize, ...
    'MaxEpochs',6, ...
    'InitialLearnRate',3e-4, ...
    'Shuffle','every-epoch', ...
    'ValidationData',augimdsValidation, ...
    'ValidationFrequency',valFrequency, ...
    'Verbose',false, ...
    'Plots','training-progress');
    
%开始训练
 net = trainNetwork(augimdsTrain,lgraph,options);
 
%进行验证
[YPred,probs] = classify(net,augimdsValidation);

%进行测试
idx = randperm(numel(imdsValidation.Files),4);
figure
for i = 1:4
    subplot(2,2,i)
    I = readimage(imdsValidation,idx(i));
    imshow(I)
    label = YPred(idx(i));
    title(string(label) + ", " + num2str(100*max(probs(idx(i),:)),3) + "%");
end

迁移学习

有的网络最后的带有学习参数的层为全连接层，而有的是1*1的全卷积层，
但是最终都要等于最后的要分类的数目
一般迁移学习修改的是最后几个全连接层和最后的输出层，输出层一般不需要特定类别数量，系统会自动分类
更改后即可准备训练

冻结

冻结初始层
可选操作，可以通过将前面层的学习率设置为0达到冻结前面层的目的，训练过程中并不更新冻结层的参数，因为在冻结层的梯度不需要进行计算，所以能够加快网络训练，同时如果数据集过小冻结之前的层还可以防止过拟合
对于googlenet一般冻结前10层

freezeWeights

冻结前面的层，使学习率为0

createLgraphUsingConnections

以原始的连接顺序重新连接层，此时包括前面学习率为0的层

数据增强

一般对训练集进行数据增强，对验证集不进行数据增强

学习参数

对未冻结的迁移层设置较小的学习率
在更改预训练的迁移层时，已经将最后几层的学习率设置的很大，来加速新层的学习，这种组合方式能够进行更快的训练

函数大杂烩

imageDatastore 数据存储 imageDatastore(data,‘includeSubfloders’,‘LabelSource’)
analyzeNetwork 分析网络 analyzeNetwork(net)
net.layers(1).InputSize
layerGraph 画网络图，与isa()使用
net.layers(n) 定位到某一层
‘nnet.cnn.layer.FullyConnectedLayer’ 层属性
fullyConnectedLayer(‘Name’,‘WeightLearnRateFactor’,‘BiasLeranRateFactor’)
categories
categorical
replaceLayer
classificationLayer
convolution2dLayer
freezeWeights 冻结层学习率为0
lgraph.layers/Connections
classify
randperm