在神经网络中,一般低层卷积层更关注局部信息,高层卷积层关注全局信息,而且在一定深度范围内,网络越深,性能越好。
于是作者提出多阶段的无监督或自监督学习。
如图,网络最终有五个block,第一阶段用拼图任务,训练前三层,第二阶段用预测旋转角度,训练2到4层,此时输出的g2是经过了1到4层编码得到的,但更新参数时不改变第一层,最后一阶段用对比任务,训练最后三层。
在神经网络中,一般低层卷积层更关注局部信息,高层卷积层关注全局信息,而且在一定深度范围内,网络越深,性能越好。
于是作者提出多阶段的无监督或自监督学习。
如图,网络最终有五个block,第一阶段用拼图任务,训练前三层,第二阶段用预测旋转角度,训练2到4层,此时输出的g2是经过了1到4层编码得到的,但更新参数时不改变第一层,最后一阶段用对比任务,训练最后三层。