Trasper1的博客

一切要从overfitting（简称OF）和网络的generalization capability（简称GC）能力说起。overfitting是因为网络的繁华能力不足。从有限的训练集期待学到具有无限表达能力的网络，本来就是伪命题，“infinite use by finite means”，所以overfitting是一件不可根除，只能减轻的事情。因为相比于无穷的待测试空间，训练集空间总...

以一个ANN（MLP，级联的FC网络）为例，每一层的每一个units（neurons）代表着这一层所构建的特征空间中的一维，或者是这一层所能代表类别的某一类别的confidence：（即若ANN中的某一层有3个neuron，后一层有5个neuron，y = W * x + b, 这两层之间的W是一个5*3的矩阵。那么这两层相当于把输入为3 * dim的一个feature map转换成5 * d...

本文提出的是一个极其顶层的深度学习概念：Learning with angular information between w and x on Hyperspheres。本着这个精神，作者提出了SphereConve，depend on which SphereNet is established，which is then trained with Angualr Softmax loss。...