2017年01月_Buyi_Shizi

01月

原创 Fast convnets using group-wise brain damage

Fast convnets using group-wise brain damage出发点在convolution layer中，很多工具箱(caffe等)都把卷积操作转换成矩阵操作，通过增加并行度来提升计算速度。那么在这个基础上怎么继续加速矩阵运算呢？对于一个输入是64x224x224的特征图来说，如果有64组3x3卷积核，那么正常的矩阵转化计算就变成 (224∗224)∗(3∗3∗64)∗

2017-01-14 15:57:22 1920

原创 caffe loss以及正则项反向传播过程

概述以前一直以为反向传播的过程是这样的，由Softmax计算得出分类loss，然后在加上L2正则项得出总的total_loss，然后再利用total_loss进行反向梯度的计算，而正则项会在每层的Forward函数中计算并返回，表面上感觉很对，但是实际分析就会发现这样想法不合理的地方，对正则项的计算，不同的solver是不一样的，而且正则项的方法也是有L2和L1, 每层layer的Forward函

2017-01-05 15:40:16 3133

原创 OUTRAGEOUSLY LARGE NEURAL NETWORKS

概述现在的CNN网络普遍都是做成通用分类网络，即一个网络要做很多种事物的分类和识别，但是仔细想想这样是不是真的合理，能不能设计一种网络，对一种输入用一种子网络去做，对另外一种输入就用另外一种子网络去做，这样做的好处就很明显，首先可以在显著增大网络规模的情况下，不会明显升高计算量；其次，我感觉这参数稀疏网络的实现方式。而在今年ICLR上，就有人提出这种网络结构OUTRAGEOUSLY LARGE NE

2017-01-03 21:09:52 1349

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人