![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
正则化
文章平均质量分 84
Trasper1
The future awaits
展开
-
Neural Networks的regularization技巧:谈谈网络的泛化能力与noise、Inductive Bias的关系
一切要从overfitting(简称OF)和网络的generalization capability(简称GC)能力说起。 overfitting是因为网络的繁华能力不足。 从有限的训练集期待学到具有无限表达能力的网络,本来就是伪命题,“infinite use by finite means”,所以overfitting是一件不可根除,只能减轻的事情。因为相比于无穷的待测试空间,训练集空间总...原创 2018-08-31 18:52:55 · 2302 阅读 · 0 评论 -
关于神经网络的capacity、regularization、generalization
以一个ANN(MLP,级联的FC网络)为例,每一层的每一个units(neurons)代表着这一层所构建的特征空间中的一维,或者是这一层所能代表类别的某一类别的confidence: (即若ANN中的某一层有3个neuron,后一层有5个neuron,y = W * x + b, 这两层之间的W是一个5*3的矩阵。那么这两层相当于把输入为3 * dim的一个feature map转换成5 * d...原创 2018-09-19 15:31:22 · 1695 阅读 · 0 评论 -
2017 NIPS《Deep Hyperspherical Learning》读后感
本文提出的是一个极其顶层的深度学习概念:Learning with angular information between w and x on Hyperspheres。本着这个精神,作者提出了SphereConve,depend on which SphereNet is established,which is then trained with Angualr Softmax loss。 ...原创 2018-12-01 21:25:47 · 686 阅读 · 0 评论