1、减少全连接层的使用。
2、relu(inplace=true),在relu或者LeakyRelu里面使用inplace,可以减少对内存的消耗;
3、optimizer的变换使用,理论上,sgd<momentum<adam,可以从计算公式中看出有额外的中间变量;
1、减少全连接层的使用。
2、relu(inplace=true),在relu或者LeakyRelu里面使用inplace,可以减少对内存的消耗;
3、optimizer的变换使用,理论上,sgd<momentum<adam,可以从计算公式中看出有额外的中间变量;