机器学习
文章平均质量分 84
qq_23304241
这个作者很懒,什么都没留下…
展开
-
Global Average Pooling全局平均池化的一点理解
Traditional Pooling Methods要想真正的理解Global Average Pooling,首先要了解深度网络中常见的pooling方式,以及全连接层。众所周知CNN网络中常见结构是:卷积、池化和激活。卷积层是CNN网络的核心,激活函数帮助网络获得非线性特征,而池化的作用则体现在降采样:保留显著特征、降低特征维度,增大kernel的感受野。深度网络越往后面越能捕...原创 2018-05-12 17:01:36 · 51382 阅读 · 13 评论 -
正则化方法:L1和L2 regularization、数据集扩增、dropout
正则化方法:防止过拟合,提高泛化能力在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程的进行,模型复杂度增加,在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集,对训练集外的数据却不work。为了防止overfitting,可以...转载 2018-07-05 15:32:06 · 206 阅读 · 0 评论 -
机器学习算法中如何选取超参数:学习速率、正则项系数、minibatch size
本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习算法中,如何选取初始的超参数的值。(本文会不断补充)学习速率(learning rate,η)运用梯度下降算法进行优化时,权重的更新规则中,在梯度项前会乘以一个系数,这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。如果学习速率太小,则会使收敛过慢,如果学习速率太大,则...转载 2018-07-05 16:03:50 · 502 阅读 · 0 评论 -
Caffe中Loss Layer原理的简单梳理
1.SoftmaxWithLoss对一对多的分类任务计算多项逻辑斯蒂损失,并通过softmax传递预测值,来获得各类的概率分布。该层可以分解为SoftmaxLayer+MultinomialLogisticLossLayer,但它的梯度计算在数值上更为稳健。在测试时,该层可用SoftmaxLayer替代。前向传播bottom: 1.(N×C×H×W)维的预测得分x,N是batch数,类别总数为K=...转载 2018-07-05 16:43:40 · 182 阅读 · 0 评论 -
训练集,测试集,检验集的区别与交叉检验
训练集,测试集,检验集的区别与交叉检验最近在看机器学习的东西发现验证集的(Validation set) 有时候被提起到,以时间没明白验证集的真正用途。首先,这三个名词在机器学习领域的文章中是很常见的,以下是这三个词的定义。 Training set: A set of examples used for learning, which is to fit the parameters [i.e....转载 2018-07-05 19:11:39 · 1115 阅读 · 0 评论