深度学习第14天_pytorch序列化容器

pytorch序列化容器

1. nn.Sequential

   nn.Sequential是一个有序的容器，其中传入的是构造器类（各种用来处理input的类），最终input会被Sequential中的构造器类依次执行

   例如：

   layer = nn.Sequential(
       nn.Linear(input,hidden_1)
       nn.ReLU(True) #inplace=False 是否对输入进行就地修改，默认为False
       nn.Linear(hidden_1,hidden_2)
       nn.ReLU(True)
       nn.Linear(hidden_2,output)
   )
   

   在上述结构中，可以直接调用layer(x)，得到输出。x的被执行顺序就是Sequential中定义的顺序

2. nn.BatchNorm1d

   batch normalization 即批规范化，是指在每个batch训练的过程中，对参数进行归一化的处理，从而达到加快训练速度的效果

   以sigmoid激活函数为例，他在反向传播的过程中，在值为0，1的时候，梯度接近0，导致参数被更新的幅度很小，训练速度满，但是如果对数据进行归一化之后，就会尽可能的报数据拉到[0-1]的范围，从而让参数更新的幅度变大，提高训练的速度

   batchNorm一般会放到激活函数之后，即对输入进行激活处理之后在进入batchNorm

   layer = nn.Sequential(
       nn.Linear(input,hidden_1)
       nn.ReLU(True) #inplace=False 是否对输入进行就地修改，默认为False
       nn.BatchNorm1d(hidden_1)
       
       nn.Linear(hidden_1,hidden_2)
       nn.ReLU(True)
       nn.BatchNorm1d(hidden_2)
       
       nn.Linear(hidden_2,output)
       
   )
   

3. nn.Dropout

   dropout可以理解为对参数的随即失活
   （1）增加模型的稳健性
   （2）可以解决过拟合的问题（增加模型的泛化能力）
   （3）可以列结尾训练后的模型是多个模型的组合之后的结果，类似随机森林

   layer = nn.Sequential(
       nn.Linear(input,hidden_1)
       nn.ReLU(True) #inplace=False 是否对输入进行就地修改，默认为False
       nn.BatchNorm1d(hidden_1)
       nn.Dropout(0.3)
   
       nn.Linear(hidden_1,hidden_2)
       nn.ReLU(True)
       nn.BatchNorm1d(hidden_2)
       nn.Dropout(0.3)
   
       nn.Linear(hidden_2,output)
   )