pytorch序列化容器
-
nn.Sequential
nn.Sequential是一个有序的容器,其中传入的是构造器类(各种用来处理input的类),最终input会被Sequential中的构造器类依次执行
例如:
layer = nn.Sequential( nn.Linear(input,hidden_1) nn.ReLU(True) #inplace=False 是否对输入进行就地修改,默认为False nn.Linear(hidden_1,hidden_2) nn.ReLU(True) nn.Linear(hidden_2,output) )
在上述结构中,可以直接调用layer(x),得到输出。x的被执行顺序就是Sequential中定义的顺序
-
nn.BatchNorm1d
batch normalization 即批规范化,是指在每个batch训练的过程中,对参数进行归一化的处理,从而达到加快训练速度的效果
以sigmoid激活函数为例,他在反向传播的过程中,在值为0,1的时候,梯度接近0,导致参数被更新的幅度很小,训练速度满,但是如果对数据进行归一化之后,就会尽可能的报数据拉到[0-1]的范围,从而让参数更新的幅度变大,提高训练的速度
batchNorm一般会放到激活函数之后,即对输入进行激活处理之后在进入batchNorm
layer = nn.Sequential( nn.Linear(input,hidden_1) nn.ReLU(True) #inplace=False 是否对输入进行就地修改,默认为False nn.BatchNorm1d(hidden_1) nn.Linear(hidden_1,hidden_2) nn.ReLU(True) nn.BatchNorm1d(hidden_2) nn.Linear(hidden_2,output) )
-
nn.Dropout
dropout可以理解为对参数的随即失活
(1)增加模型的稳健性
(2)可以解决过拟合的问题(增加模型的泛化能力)
(3)可以列结尾训练后的模型是多个模型的组合之后的结果,类似随机森林layer = nn.Sequential( nn.Linear(input,hidden_1) nn.ReLU(True) #inplace=False 是否对输入进行就地修改,默认为False nn.BatchNorm1d(hidden_1) nn.Dropout(0.3) nn.Linear(hidden_1,hidden_2) nn.ReLU(True) nn.BatchNorm1d(hidden_2) nn.Dropout(0.3) nn.Linear(hidden_2,output) )