街景字符编码识别-Task5:模型集成

街景字符编码识别-Task5:模型集成

5.1 学习目标

• 学习集成学习方法以及交叉验证情况下的模型集成
• 学会使用深度学习模型的集成学习

5.2 集成学习方法

集成学习(ensemble learning)是学术竞赛中经常用到的多模型融合技术。无论是在图像分类、视频理解或是自然语言理解领域，它都能通过集成已有多个基础模型，带来一定的性能提升；因此获得了非常广泛的应用。

常用的获得不同模型的方法

• 由不同的训练模型得到不同的模型，例如处理分类的LR、SVM、RF等
• 由于同一训练模型调节不同参数获得不同的模型，例如GDBT中迭代次数，每个树的复杂度等
• 有些算法本身就有一定的随机性，如PLA
• 由于训练数据不同得到不同的模型，如交叉验证、随机抽样
  上面这些生成不同模型可以组合生成更多不同的模型，比较常用的是最前面的两个

模型融合的方法

• 通过验证（validation）的方式，从第一步中训练出的多个模型中挑选最佳的模型，作为最终的模型。这种方式必须要验证，不同使Ein最小，否则很容易过拟合。
• 统一融合(Uniform blending)，分类时使用一人一票的投票方式，回归时使用多个模型的平均值。这种方式的优点是一般泛化能力会得到加强，但是只能保证比那些模型中最差的模型要好，不能保证能得到比那些不同模型中的最好的模型要好
• 线性融合(Linear blending)，二次学习，使用线性模型将第一步中学习到的学习器组合起来，用得好可以提高模型性能，但是要注意有过拟合的风险。
• 堆融合(Any blending、stacking)，任何其它非线性模型将那些学习器组合起来，有过拟合的风险，注意验证。

Bagging
Bagging的思想是随机地从训练集合中采样出多个子集合(sub-dataset)，然后针对每一个子集合，训练相应的基础模型。最终，通过投票或者平均的方法将这些基础模型进行输出结果的融合。

Stacking
首先将整个训练数据划分为K折。通过K-1折训练，1折测试的方式获得K个模型。最终合并所有模型的输出结果进行集成模型学习，用此模型在测试集合上进行最终的预测。这个方法的缺点是需要训练的模型数目与折数成正比。在数据量很大的比赛中，往往需要花费很多的时间与机器资源。

Blending
整个训练过程分为两个步骤。第一步，将全部数据划分为训练集合与验证数据集合，然后用前者训练多种基础模型。第二步，用已有的基础模型，在验证集合上进行预测输出，再利用监督方法基于多种输出结果进行集成模型的学习。

5.3 深度学习中的集成学习

• Dropout
  Dropout可以作为训练深度神经网络的一种技巧。在每个训练批次中，通过随机让一部分的节点停止工作。同时在预测的过程中让所有的节点都其作用。可以有效的缓解模型过拟合的情况，也可以在预测时增加模型的精度
  加入Dropout后的网络结构如下：

# 定义模型
class SVHN_Model1(nn.Module):
    def __init__(self):
        super(SVHN_Model1, self).__init__()
        # CNN提取特征模块
        self.cnn = nn.Sequential(
            nn.Conv2d(3, 16, kernel_size=(3, 3), stride=(2, 2)),
            nn.ReLU(),
            nn.Dropout(0.25),
            nn.MaxPool2d(2),
            nn.Conv2d(16, 32, kernel_size=(3, 3), stride=(2, 2)),
            nn.ReLU(), 
            nn.Dropout(0.25),
            nn.MaxPool2d(2),
        )
        # 
        self.fc1 = nn.Linear(32*3*7, 11)
        self.fc2 = nn.Linear(32*3*7, 11)
        self.fc3 = nn.Linear(32*3*7, 11)
        self.fc4 = nn.Linear(32*3*7, 11)
        self.fc5 = nn.Linear(32*3*7, 11)
        self.fc6 = nn.Linear(32*3*7, 11)
    
    def forward(self, img):        
        feat = self.cnn(img)
        feat = feat.view(feat.shape[0], -1)
        c1 = self.fc1(feat)
        c2 = self.fc2(feat)
        c3 = self.fc3(feat)
        c4 = self.fc4(feat)
        c5 = self.fc5(feat)
        c6 = self.fc6(feat)
    	return c1, c2, c3, c4, c5, c6