文献笔记
文章平均质量分 66
prm10
这个作者很懒,什么都没留下…
展开
-
Gradient-based Hyperparameter Optimization through Reversible Learning
摘要 因为超参数的梯度信息很难获得,所以调整超参数很难。我们在整个训练集上计算了对于所有超参数的交叉检验的精确参数。这使得我们可以优化各种超参数,包括训练步长、动量、初始参数的分布、网络结构、正则化形式。我们的计算恰好颠覆了基于动量的随机梯度下降法的动力。简介 机器学习到处都是超参数,需要通过例如l1l2等正则化来限制模型的复杂度。还有步长、动量衰减、初始条件等,都很难决定。 现有的方法通原创 2016-01-26 20:29:44 · 952 阅读 · 0 评论 -
论文笔记:Clustering is efficient for approximate maximum inner product search
Auvolat A, Vincent P. Clustering is efficient for approximate maximum inner product search[J]. arXiv preprint arXiv:1507.05910, 2015.摘要 针对Maximum Inner Product Search问题,通常有locality-sensitive hashing (原创 2016-01-25 22:08:27 · 1018 阅读 · 0 评论 -
A comparative study of RNN for outlier detection in data mining
摘要 提出了一种用于异常检测的RNN(貌似不同于循环神经网络,叫replicator neural networks)。然后将该算法与其他三种算法在公开的数据集上做了对比。较小的数据集可以洞悉RNN的原理和不足,较大的数据集可以证明其可扩展性和实用价值。论文还提供了对比异常检测能力的流程和基准。简介 异常点往往被认为是回归模型中的残差或者密度模型中的远离点 介绍了参数化方法和非参数化方法的原创 2016-01-27 16:16:35 · 781 阅读 · 0 评论 -
Deep Learning Face Representation from Predicting 10,000 Classes
摘要 这篇paper旨在通过深度网络来学习高维特征,所谓的深度网络就是DeepID,用于人脸识别。我们将说明DeepID可以有效应用于多类人脸识别任务。同时也可以泛化到其他识别领域以及训练集中没有出现过的新样本。此外,其泛化能力随着训练任务中的类别的增多而增强。DeepID的特征来自ConvNets的最后一层隐层。当训练集能够识别出10000个人脸后,逐步减少每层神经元个数,ConvNets会逐步原创 2016-01-28 10:34:10 · 1973 阅读 · 0 评论