![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 89
Trasper1
The future awaits
展开
-
关于Neural Network(MLPs)的训练前准备:数据预处理和网络初始化
训练一个的Neural Network(特指由FC层和non-linearity构成的MLP式网络),为了达到又快又好的convergence,训练前的准备非常重要。这里主要谈个主要的预训练措施:数据预处理 and 网络初始化。一. 数据预处理:本文还是以在CIFAR-10上做10分类任务为背景展开(训练集50000张32 * 32 * 3 = 3072dim的图片,X∈[N , D] =...原创 2018-08-31 16:51:38 · 1976 阅读 · 0 评论 -
Neural Networks的regularization技巧:谈谈网络的泛化能力与noise、Inductive Bias的关系
一切要从overfitting(简称OF)和网络的generalization capability(简称GC)能力说起。overfitting是因为网络的繁华能力不足。从有限的训练集期待学到具有无限表达能力的网络,本来就是伪命题,“infinite use by finite means”,所以overfitting是一件不可根除,只能减轻的事情。因为相比于无穷的待测试空间,训练集空间总...原创 2018-08-31 18:52:55 · 2287 阅读 · 0 评论 -
关于神经网络的capacity、regularization、generalization
以一个ANN(MLP,级联的FC网络)为例,每一层的每一个units(neurons)代表着这一层所构建的特征空间中的一维,或者是这一层所能代表类别的某一类别的confidence:(即若ANN中的某一层有3个neuron,后一层有5个neuron,y = W * x + b, 这两层之间的W是一个5*3的矩阵。那么这两层相当于把输入为3 * dim的一个feature map转换成5 * d...原创 2018-09-19 15:31:22 · 1678 阅读 · 0 评论 -
机器学习之参数估计
万事皆有规律可循。学习就是去捕捉和掌握万事发生的规律。数学地说,给定一个x(事起之因),遵循一个规律 F(*),可得一个y(事终之果)。学习,无论人还是机器,就是去总结归纳这个F(*)。当这个规律异常复杂从而无法显式地用数学公式直接写出来或者编程,而同时我们又围绕这个规律掌握有大量的(x,y)因果样本时,就可以采取数据驱动的方式(data-driven),来“机器学习”这个规律F(*)...原创 2018-11-27 17:09:43 · 2459 阅读 · 0 评论 -
CVPR2018 Spotlight 《Decoupled Networks》读后感
首先要明确的最顶层的概念是:CNN是一个visual representation learning的过程,所有的convolutional filters wi是学到的features template,每一个convolutional操作就是一个template matching,通过dot-product这种计算方式来量化滑窗位置的image patch xi与convolutional f...原创 2018-12-01 16:32:18 · 756 阅读 · 0 评论 -
2017 NIPS《Deep Hyperspherical Learning》读后感
本文提出的是一个极其顶层的深度学习概念:Learning with angular information between w and x on Hyperspheres。本着这个精神,作者提出了SphereConve,depend on which SphereNet is established,which is then trained with Angualr Softmax loss。...原创 2018-12-01 21:25:47 · 681 阅读 · 0 评论 -
关于神经网络的训练与优化的一些想法。Thoughts about optimization & training in Neural Networks--back propagation & SGD
一个神经网络是一个遵循连接原则级联构成的函数逼近器(function approximation)。这个function将输入x转化成输出y。以image classification为例,x是图片,y是labels。对于一个神经网络的训练,是指通过trail-and-error来获得网络中所有参数w的最优值。当网络中所有参数都取得最优值时,该网络针对某个损失函数可以在给定样本集上得到最低lo...原创 2018-12-05 15:59:28 · 586 阅读 · 0 评论