【论文阅读】Multisource Transfer Learning With Convolutional Neural Networks for Lung Pattern Analysis

Multisource Transfer Learning With Convolutional Neural Networks for Lung Pattern Analysis

main idea

• 应用背景：interstitial lung diseases
• 利用在6个通用（general）纹理数据集上预训练的网络迁移到lung tissue data上进行模式分类
• 在每个source数据集上预训练网络，然后对每个迁移不同数目的层，fine-tune到target数据集上。
• 使用模型选择过程model selection process将获得的网络combine在一起，然后将其用于teach具有原始大小的网络。
• 结果CNN网络相对在hard targets上训练的同样的网络提升了2%的效果。训练时间增加，因为需要训练多个模型。但是预测用时不变。
• 本文结果证明了，自然图像（natural），本文中是自然纹理图像，对于对medical医疗图像的任务是有价值的，特别是在医疗数据和标注有限的应用中，自然图像对于效果有一定作用。
• A selection process combines CNNs into an ensemble that is used to teach a single randomly initialized
  model.

不同source模型ensemble的思路

• selection方法
• forward selection procedure
• selects models from a pool and iteratively adds them to the ensemble following a specific criterion
• pool包含：
  • 在source上预训练，然后fine-tune过的网络
  • 少量target数据集上直接训练的网路
  • 。。。
• 每次随机选取大小为pool的一半的subset
• 根据性能排名，前N个作为初始化ensemble的网络

Model Compression将ensemble模型压缩成原始大小的一个模型