- 博客(3)
- 收藏
- 关注
原创 Fast convnets using group-wise brain damage
Fast convnets using group-wise brain damage出发点在convolution layer中,很多工具箱(caffe等)都把卷积操作转换成矩阵操作,通过增加并行度来提升计算速度。那么在这个基础上怎么继续加速矩阵运算呢? 对于一个输入是64x224x224的特征图来说,如果有64组3x3卷积核,那么正常的矩阵转化计算就变成 (224∗224)∗(3∗3∗64)∗
2017-01-14 15:57:22 2008
原创 caffe loss以及正则项反向传播过程
概述以前一直以为反向传播的过程是这样的,由Softmax计算得出分类loss,然后在加上L2正则项得出总的total_loss,然后再利用total_loss进行反向梯度的计算,而正则项会在每层的Forward函数中计算并返回,表面上感觉很对,但是实际分析就会发现这样想法不合理的地方,对正则项的计算,不同的solver是不一样的,而且正则项的方法也是有L2和L1, 每层layer的Forward函
2017-01-05 15:40:16 3190
原创 OUTRAGEOUSLY LARGE NEURAL NETWORKS
概述现在的CNN网络普遍都是做成通用分类网络,即一个网络要做很多种事物的分类和识别,但是仔细想想这样是不是真的合理,能不能设计一种网络,对一种输入用一种子网络去做,对另外一种输入就用另外一种子网络去做,这样做的好处就很明显,首先可以在显著增大网络规模的情况下,不会明显升高计算量;其次,我感觉这参数稀疏网络的实现方式。而在今年ICLR上,就有人提出这种网络结构OUTRAGEOUSLY LARGE NE
2017-01-03 21:09:52 1397
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人