语义分割实现地表建筑物识别6 模型集成

语义分割实现地表建筑物识别6 模型集成

学习目标

1. 学习集成学习方法
2. 使用交叉验证训练模型，得到多个模型权重
3. 学习Snapshot和TTA的具体用法

数据集划分和集成学习方法

深度学习中如果设备允许可以采用交叉验证的方法，否则采用留出法。
以10折交叉验证为例，训练10个语义分割模型，然后可以通过对预测结果的概率值进行平均，解码为具体字符；也可以对预测的字符进行投票，得到最终字符。

机器学习中常用的集成学习方法包括 Stacking、Bagging和 Boosting。决策树（二）——集成模型

• Boosting trees：【典型方法是AdaBoost和GBDT.】
  不同的分类器通过串行训练而获得，每个新分类器都重点关注已有分类器错分的样本来获得新的分类器，递归生成多个分类器，采用加权求和的方法获得集成模型。

The algorithm works by applying the weak learner sequentially to
weighted versions of the data,where more weight is given to examples
that were misclassified by earlier rounds. ——《Machine Learning - A
Probabilistic Perspective》

• Bagging aggregated trees 【一种典型的方法是随机森林】
  随机森林算法一言以蔽之，对于随机选取的数据集，在随机选择的样本特征中，选择一个最优的特征依据基尼不纯度或总方差指标建立CART决策树，并行得到多个决策树，各决策树预测结果通过投票输出最终结果。

• Stacking
  pass

深度学习中的集成学习

Snapshot

原理：很早地降低学习率继续训练, 对最后的误差并不会造成大的影响, 却极大地提高了训练的效率, 使得模型在较少的epoch轮数迭代后就达到局部极小成为了可能。

Snapshot Ensemble就是在一次训练(最优化)过程中, 在最终收敛之前, 访问多个局部极小, 在每个局部极小保存快照即作为一个模型, 在预测时使用所有保存的模型进行预测, 最后取平均值作为最终结果.

因此, 论文中采用了Cyclic Cosine Annealing方法, 很早地就下调了学习率, 使训练尽快地到达第一个局部极小, 得到第一个模型. 然后提升学习率, 扰乱模型, 使得模型脱离局部极小, 然后重复上述步骤若干次, 直到获取指定数量的模型.最后将对各模型进行集成。

这个方法可以在一定程度上提高模型精度，但需要更长的训练时间。

TTA

测试集数据扩增可以应用在训练集和测试集上。对同一个样本预测三次，然后对三次结果进行平均。

for idx, name in enumerate(tqdm_notebook(glob.glob(’./test_mask/*.png’)[:])):
	image = cv2.imread(name)
	image = trfm(image)
	with torch.no_grad():
		image = image.to(DEVICE)[None]
		score1 = model(image).cpu().numpy()

		score2 = model(torch.flip(image, [0, 3]))
		score2 = torch.flip(score2, [3, 0]).cpu().numpy()

		score3 = model(torch.flip(image, [0, 2]))
		score3 = torch.flip(score3, [2, 0]).cpu().numpy()
		score = (score1 + score2 + score3) / 3.0
		score_sigmoid = score[0].argmax(0) + 1

参考

• 决策树（二）——集成模型
• Snapshot