7-4 语义分割的三点奇技淫巧

https://blog.csdn.net/qian2213762498/article/details/87884869

https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247499483&idx=2&sn=5f63afd1d73407b16634cdc756758d6c&chksm=ec1c1322db6b9a346c12ec59ee28860074631876c27cc17a4d39fd4a70a33c07afd96a4ae710&mpshare=1&scene=24&srcid=&sharer_sharetime=1593750221612&sharer_shareid=33bf8ccb960841e5cc8b2e60cd460716&exportkey=Ad6Kb0WjjfRvaLUFaqs7a7E%3D&pass_ticket=lLNAGiy8NRhPeX01IdYZG8FUT1txYyzxgznsSyQHv91WlinEhvQu9ifD6RZwZwbT&wx_header=0#rd

 

1. 如何去优化IoU

2. Hard Examples：focal_loss+OHEM

3.U-Net改进

（1）transposed convolution我们会选择用upsampling+3*3 conv(Deconvolution and Checkerboard Artifacts)代替（具体原因请见这篇文章：Deconvolution and Checkerboard Artifacts （强烈安利distill，blog质量奇高））

（2）为了提升各feature map的resolution我移去了原resnet conv1中的pool（实践过,需要内存更大的gpu）

  (3)  decoder 添加设计：

        attention，用很少的参数来校准feature map（Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks(https://arxiv.org/pdf/1803.02579.pdf);

       为了进一步鼓励模型在多尺度上的鲁棒性，我们可以引入Hypercolumn去直接把各个scale的feature map concatenate起来;

(4)Semi-supervised:

Semi-supervised Skin Lesion Segmentation via Transformation Consistent Self-ensembling Model

https://arxiv.org/pdf/1808.03887.pdf

https://yulequan.github.io/

 

（5）Training：

其实训练我觉得真的是case by case，在task A上用的heuristics放到task B效果就反而没那么好，所以我就介绍一个大多场合下都能用的trick：Cosine Annealing w. Snapshot Ensemble(https://arxiv.org/abs/1704.00109)

听上去听酷炫的，实际上就是每个一段时间warm restart学习率，这样在单位时间内能得到多个而不是一个converged local minina，做融合的话手上的模型会多很多。

 

最后安利一下我自己（author）的repo：liaopeiyuan/ml-arsenal-public(https://github.com/liaopeiyuan/ml-arsenal-public) ，里面会有我所有参与过的Kaggle竞赛的源代码，目前有两个Top 1% solution：TGS Salt和Quick Draw Doodle