深度学习
文章平均质量分 52
Greeksilverfir
这个作者很懒,什么都没留下…
展开
-
2019达观信息提取比赛第九名代码
2019达观信息提取比赛第九名代码,地址: https://github.com/lonePatient/daguan_2019_rank9总结有空补上…转载 2019-09-28 17:05:54 · 774 阅读 · 0 评论 -
使用BERT进行多标签分类
基于pytorch实现的BERT模型多标签分类试验,代码地址:https://github.com/lonePatient/Bert-Multi-Label-Text-Classification详细说明见README.md原创 2019-08-28 14:58:55 · 3495 阅读 · 2 评论 -
Multi-Sample Dropout for Accelerated Trainingand Better Generalization
使用pytorch进行multi-sample dropout试验,代码地址:https://github.com/lonePatient/multi-sample_dropout_pytorch内容后续补上。。。。。。。原创 2019-08-28 14:57:11 · 445 阅读 · 0 评论 -
Stochastic Gradient Methods with Layer-wise Adaptive Moments for Training of Deep Networks
使用pytorch实现的NovoGrad优化器,代码地址:https://github.com/lonePatient/NovoGrad-pytorch内容后续补上。。。。。原创 2019-08-28 14:55:32 · 344 阅读 · 0 评论 -
Lookahead Optimizer: k steps forward, 1 step back
使用pytorch实现的Lookahead 优化器,代码地址:https://github.com/lonePatient/lookahead_pytorch内容,后续补上。原创 2019-08-28 14:53:21 · 400 阅读 · 0 评论 -
Pytorch实现word2vec
详细内容,后续补上…代码链接地址: https://github.com/lonePatient/chinese-word2vec-pytorch大概 6 次 epochs 之后,可得到一下结果:目标词Top10目标词Top10中国中国 : 1.000男人男人 : 1.000中国美国 : 0.651男人女人 : 0.764中国日本 : 0.5...转载 2019-01-26 21:09:51 · 1922 阅读 · 0 评论 -
深度学习与计算机视觉(PB-12)-ResNet
在上一章中,我们讨论了GoogLeNet网络结构和Inception模块,这节中,我们将讨论由一个新的微结构模块组成的网络结构,即由residual微结构组成的网络结构——ResNet。ResNet网络由residual模块串联而成,在原论文中,我们发现作者训练的ResNet网络深度达到了先前认为不可能的深度。在2014年,我们认为VGG16和VGG19网络结构已经非常深了。然而,通过ResNe...翻译 2019-01-06 20:07:13 · 1158 阅读 · 0 评论 -
论文阅读-Snapshot Ensembles Train 1, get M for free
Snapshot Ensembles(Huang et al,2017)是最近提出的一种聪明的技术,该方法训练一个单一的模型,使用cosine annealing learning rate schedule方法,首先使用一个较大学习率并快速收敛到一个局部最小值。然后保存模型参数,接着重新使用一个较大的学习率开始进行优化,然后重复这些步骤M次。最后,所有保存的模型Snapshot都是整体的。摘要...原创 2018-12-04 09:36:27 · 1395 阅读 · 2 评论 -
周期性学习率(Cyclical Learning Rate)技术
本文介绍神经网络训练中的周期性学习率技术。Introduction学习率(learning_rate, LR)是神经网络训练过程中最重要的超参数之一,它对于快速、高效地训练神经网络至关重要。简单来说,LR决定了我们当前的权重参数朝着降低损失的方向上改变多少。new_weight = exsiting_weight - learning_rate * gradient这看上去很简单。但是...原创 2018-12-04 09:36:02 · 12340 阅读 · 7 评论 -
Spatial Dropout
SpatialDropout是Tompson等人在图像领域提出的一种dropout方法。普通的dropout会随机地将部分元素置零,而SpatialDropout会随机地将部分区域置零,该dropout方法在图像识别领域实践证明是有效的。dropoutdropout是怎么操作的?一般来说,对于输入的张量x,dropout就是随机地将部分元素置零,然后对结果做一个尺度变换。比如,我们随机初始化一...原创 2018-12-04 09:35:13 · 14989 阅读 · 5 评论 -
如何找到一个好的学习率
我们知道学习率是深度学习模型中一个非常重要的超参数,因此,当训练深度学习模型时,我们如何确定学习率的大小? 如果学习率太小,网络将会训练很慢且耗时(比如学习率设置为1e-6)。如果学习率太高,网络在训练过程中可能会跳过最小值点。更糟糕的是,高学习率可能会导致loss不断变大,这样就脱离了模型的学习目标。介绍如下图所示,高的学习率,可能会出现跳过最小值点情况,并且loss还增加:图1因此,...原创 2018-12-04 09:33:20 · 10823 阅读 · 0 评论 -
Pytorch深度学习入门
title: Pytorch深度学习入门mathjax: falsedate: 2018-12-06 12:34:12categories:- 深度学习tags:- 深度学习- Pytorch在本教程中,将使用PyTorch框架介绍深度学习,并通过一个案例进行实验,通过本教程,你将可以轻松地使用Pytorch框架构建深度学习模型。Pytorch 简介Pytorch 是一个基...原创 2018-12-08 21:03:37 · 4483 阅读 · 0 评论