MATLAB-DL2
imputlayer
imageInputLayer 创建输入层
自动应用归一化???
inputSize 规定输入图像的大小/包括通道
convolutionallayer
2D卷积层,应用滑动卷积滤波器
convolution2DLayer 创建2d卷积层
filterSize 规定卷积核尺寸
trainNetwork,对卷积核应用的是点乘运算
‘Stride’ 名值对规定卷积核步长
numFilters 规定卷积层中卷积核的数量
卷积核的数量决定了,该步中卷积层的输出(卷积层)的通道数量
DilationFactor 膨胀卷积-没懂
对滤波器进行空间(元素)内插,扩大卷积核,
‘Padding’ 名值对扩充输入图像边界,控制featuremap大小
如果滤波器滑动后不能全覆盖整个图像,则忽略最右、最下剩余部分,因为丢弃,所有最后的featuremap的size是向下取整
mapsize featuremap神经元的总数, h F ∗ w F ∗ n u m F i l t e r s h_F*w_F*numFilters hF∗wF∗numFilters
名值对指定学习率和正则化参数trainingOptions
不特定指定则使用trainNetwork中的预定义的全局训练函数
batchnormalizationlayer-没懂
对minibatch中的每个输入通道都进行归一化
目的就是要加速卷积神经网络的训练,从而对减少对输入数据的敏感
一般都放在卷积层后和对应的激活层之间,卷积层-BN层-激活层
batchNormalizationLayer 创建批归一化层
crossChannelNormalizationlayer LRN局部响应归一化层-没懂
activationlayer 激活层
ReLU 层-激活层
poolinglayer 池化层
减少学习的参数,但不引进学习参数,防止过拟合
maxPooling2dLayer 最大池化层
下采样
averagePooling2dLayer 平均池化层
下采样
poolSize 定义pooling区域大小
‘Stride’ 名值对,池化步长
如果poolSize 小于等于Stride,那么区域不重叠
n
/
h
n/h
n/h 或者
(
n
−
h
+
2
p
)
/
s
+
1
(n-h+2p)/s+1
(n−h+2p)/s+1
dropoutlayer drop层
以概率随机丢失
r
a
n
d
(
s
i
z
e
(
X
)
)
<
p
r
o
b
a
b
i
l
i
t
y
rand(size(X))<probability
rand(size(X))<probability
1
/
(
1
−
p
r
o
b
a
b
i
l
i
t
y
)
1/(1-probability)
1/(1−probability)
不引进学习参数,防止过拟合
(貌似在测试阶段不使用dropout)
fullyconnectedlayer 全连接层
fullyConnectedLayer 创建全连接层
outputSize 输出大小
最后一个全连接层的输出大小等于要识别的类别
名值对,定义学习率和正则化参数trainingOptions
不过不指定,则在trainNetwork时使用默认参数
outputlayer 输出层
softmax/classification layer
softmaxLayer 创建softmaxLayer层
应用softmax函数
classificationLayer 创建classificationlayer层
应用交叉熵损失函数
对多分类问题,classificationlayer必须加在softmax层后面-有点没懂
regressionLayer创建回归层
图像回归
图像到图像的回归-什么意思