- 博客(12)
- 收藏
- 关注
RSS订阅原创 跨卡同步 Batch Normalization
一．为什么要跨卡同步 Batch Normalization现有的标准 Batch Normalization 因为使用数据并行（Data Parallel），是单卡的实现模式，只对单个卡上对样本进行归一化，相当于减小了批量大小（batch-size）。 对于比较消耗显存的训练任务时，往往单卡上的相对批量过小，影响模型的收敛效果。 之前在在图像语义分割的实验中，就发现使用大模型的效果反而变差，...
2019-12-29 18:02:41
2161
3
原创 Filter Response Normalization Layer(FRN)
一.概述目前主流的深度学习模型都会采用BN层（Batch Normalization）来加速模型训练以及提升模型效果，对于CNN模型，BN层已经上成为了标配。但是BN层在训练过程中需要在batch上计算中间统计量，这使得BN层严重依赖batch，造成训练和测试的不一致性，当训练batch size较小，往往会恶化性能。GN（Group Normalization）通过将特征在channel维度...
2019-12-29 16:10:59
2023
1
原创 ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks
一.概述提出了一个Asymmetric Convolution Block (ACB),可以在普通的网络中加入一些ACB来代替普通的卷积，这个仅在训练的时候起作用，然后测试的时候可以使得网络恢复之前的结构，所以这种方法是提升了网络的性能但是完全不会破坏网络，所以原作者说是白给的性能。但是这个性能的提升也是以训练时间增加40%换来的。所以具体能不能应用到实际业务中就是仁者见仁智者见智了。二....
2019-12-27 21:24:56
2879
1
原创 马尔可夫链蒙特卡罗算法(MCMC)-(三)
在马尔可夫链蒙特卡罗算法(MCMC)-(二)中我们讲到给定一个概率平稳分布π, 很难直接找到对应的马尔科夫链状态转移矩阵P。而只要解决这个问题，我们就可以找到一种通用的概率分布采样方法，进而用于蒙特卡罗模拟。本篇我们就讨论解决这个问题的办法：MCMC采样和它的易用版M-H采样。一.马尔科夫链的细致平稳条件在解决从平稳分布π, 找到对应的马尔科夫链状态转移矩阵P之前，我们还需要先看看马尔科夫...
2019-12-22 11:26:54
1311
原创 马尔可夫链蒙特卡罗算法(MCMC)-(二)
在马尔可夫链蒙特卡罗算法(MCMC)-(一)中，我们讲到了如何用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和的方法，但是这个方法需要得到对应的概率分布的样本集，而想得到这样的样本集很困难。因此我们需要本篇讲到的马尔科夫链来帮忙。一.马尔可夫链概述马尔科夫链定义本身比较简单，它假设某一时刻状态转移的概率只依赖于它的前一个状态。举个形象的比喻，假如每天的天气是一个状态的话，那...
2019-12-21 20:21:18
1516
原创 马尔可夫链蒙特卡罗算法(MCMC)-(一)
作为一种随机采样方法，马尔科夫链蒙特卡罗（Markov Chain Monte Carlo，以下简称MCMC）在机器学习,深度学习以及自然语言处理等领域都有广泛的应用，是很多复杂算法求解的基础。比如分解机(Factorization Machines)推荐算法，还有受限玻尔兹曼机（RBM），都用到了MCMC来做一些复杂运算的近似求解。下面我们就对MCMC的原理做一个总结。MCMC方法是用来在...
2019-12-21 17:39:45
1609
原创 FCOS详解S:FullyConvolutionalOne-StageObjectDetection
这玩意和基于anchor的有异曲同工之处，anchor-based是一个点对应n个anchor，而这玩意是每一个点对应一个box。训练时：基于anchor的方法是在featuremap的每一个点上产生anchor，然后将anchor映射回原图求gt与anchor的iou，大于一定阈值就认为是正样本，进行gt与anchor的坐标偏移回归，并且进行分类的训练。而这玩意是对于featurema...
2019-12-20 10:37:54
763
原创 python装饰器_2
由于函数也是一个对象，而且函数对象可以被赋值给变量，所以，通过变量也能调用该函数。>>> def now():... print('2015-3-25')...>>> f = now>>> f()2015-3-25函数对象有一个__name__属性，可以拿到函数的名字：>>> now.__na...
2019-12-12 22:24:07
117
原创 python装饰器_1
装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。概括的讲，装饰器的作用就是为已经存在的对象添加额外的功能。先来看一个简单例子：...
2019-12-12 22:18:06
110
原创 Global Average Pooling
一.简介大牛在NIN（Network in Network）论文中提到了使用全局平局池化层代替全连接层的思路，以下是摘录的一部分资料：global average poolilng。既然全连接网络可以使feature map的维度减少，进而输入到softmax，但是又会造成过拟合，是不是可以用pooling来代替全连接。答案是肯定的，Network in Network工作使用GAP来取...
2019-12-11 22:31:58
782
原创 PSPNet
一.概述Pyramid Scene Parsing Network（PSPNet）是CVPR2017上关于场景解析的文章，拿到了2016年ImageNet比赛中scene parsing任务的冠军，当然也常用来做语义分割。这篇文章出发点是在语义分割算法中引入更多的上下文信息（context information）， 这样能够避免许多误分割，PSPNet在FCN算法的基础上引入更多上下文信息是...
2019-12-11 21:58:25
738
1
原创 ThunderNet
一.Abstracttwo-stage lightweighted backbone for object detection efficient rpn and detection head design To generate more discriminative feature representation, we design two efficient architectu...
2019-12-07 14:06:04
613
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人