DropPath/drop_path 是一种正则化手段,和Dropout思想类似,其效果是将深度学习模型中的多分支结构的子路径随机”删除“,可以防止过拟合,提升模型表现,而且克服了网络退化问题。
ResNet缺乏正则方法,本文提出了drop-path,对子路径进行随机丢弃,通过实验表示,残差结构对于深度网络来说不是必须的,路径长度才是训练深度网络的需要的基本组件,而不单单是残差块。
·Dropout:将神经元间的连接随机删除。
·Droppath:将深度学习模型中的多分支结构子路径随机”删除。