神经网络
coder_zrx
这个作者很懒,什么都没留下…
展开
-
关于深度学习中的梯度下降与学习率调整策略
推荐三篇文章,写的相当清楚,在这记录一下,方便以后查阅1、关于梯度下降算法:https://lumingdong.cn/summary-of-gradient-descent-algorithm.html2、关于梯度下降中学习率设定策略:https://lumingdong.cn/setting-strategy-of-gradient-descent-learning-rate.html#快照集成和随机加权平均(Snapshot_Ensembling_And_Stochastic_Weig原创 2020-06-06 15:50:45 · 364 阅读 · 0 评论 -
卷积神经网络(CNN)的通道计算过程(卷积网络的参数量计算方法、计算量计算方法)
以前一直对卷积的通道运算有一个误解,今天搞懂了,记录一下。其实很简单,产生一个输出通道需要与输入通道数相当的卷积模板数(这个为一组产生一个输出通道),如下图所示对应的卷积模板处理对应的输入通道,以上面的例子来说,第一个卷积模板处理第一个输入通道产生一个h*w(输入特征的大小)的feature,如此会产生三个相同大小的feature,再把不同通道相同位置的元素相加产生一个输出通道。...原创 2020-04-28 17:27:50 · 9781 阅读 · 0 评论 -
Pytorch中的网络参数(权重)初始化函数总结
Pytorch之网络初始化原创 2020-04-26 17:13:23 · 2617 阅读 · 0 评论 -
神经网络参数初始化(MSRA、Xavier)
再推荐一篇感觉原理讲的很好的文章:https://blog.csdn.net/u014696921/article/details/53819512转载 2020-04-26 16:45:37 · 974 阅读 · 0 评论 -
torch.cat()\torch.stack()\concat操作\FPN类模型通道特征合并
特征合并相关(concat)1、合并方法(1)FPN先用1*1卷积合并通道数,然后上采样,对应元素直接相加。如此合并之后为减少混叠效应,再用3*3卷积进行处理得到每一层级最后的特征图;除此之外,为不同层次的输出通道设置固定维数(因为所有层次都像传统的特征化图像金字塔一样使用共享的分类器/回归器)与此同时由于FPN不同级别特征图尺寸不同所以对应的锚框大小也不同(但是长宽比例都是相同的...原创 2020-04-26 11:00:49 · 16405 阅读 · 1 评论 -
深度学习 warmup 策略\Warmup预热学习率
推荐博客https://blog.csdn.net/sinat_36618660/article/details/99650804https://blog.csdn.net/comway_Li/article/details/105016725https://blog.csdn.net/longe20111104/article/details/88397152原创 2020-04-26 00:33:09 · 1383 阅读 · 0 评论 -
RFB_Net(ECCV 2018)
1、出发点 在此之前很多目标检测网络在性能上获得大幅度的提升都得益于backbone的性能提升(也就是网络越来越深的原因),但作者认为不能一味的靠增加网络深度带来性能提升,合理的替代方案是通过引入某些人工设计的机制来增强轻量级网络的特征表示,而不是顽固地加深模型。2、理论基础 在过去的几十年中,功能性磁共振成像(fMRI)以毫米为单位的分辨率无创地测量了人类的...原创 2020-04-26 00:00:34 · 732 阅读 · 0 评论 -
GhostNet论文阅读
GhostNet:More Features from Cheap Operations.1、主要思想深度网络处理过的特征有一部分冗余,这类特征可以通过更廉价的方式获取,不一定非要传统代价较为高昂的运算方式。也就是说,它主要针对网络Feature Map通道间存在的相似性,引入通道间的线性变换来替代原始的传统CNN运算,在减少网络参数和计算量的同时,保持Feature Map原本的通道数和...原创 2020-04-17 10:17:46 · 1418 阅读 · 0 评论 -
神经网络训练加速、增加稀疏性操作(Dropout、GN、BN、LRN)
增加稀疏性(降低过拟合风险)----Dropout、LRNDropout Dropout是怎么做到防止过拟合的呢?首先,想象我们现在只训练一个特定的网络,当迭代次数增多的时候,可能出现网络对训练集拟合的很好,但是对验证集的拟合程度很差的情况。所以,我们有了这样的想法:可不可以让每迭代随机的去更新网络参数,引入这样的随机性就可以增加网络generalize 的能力。所以就有了d...原创 2020-04-12 11:47:24 · 3694 阅读 · 1 评论 -
EfificientDet目标检测网络
EfificientDet:scalable and Efficient Object Detection参考文章:https://blog.csdn.net/dwilimeth/article/details/103206530https://blog.csdn.net/zhw864680355/article/details/103531307https://www.cnblo...原创 2020-04-11 20:50:42 · 397 阅读 · 0 评论 -
深度学习--------经典卷积网络总结(3) EfficientNet
卷积网络总结(3) EfficientNet该网络使用到了神经网络结构搜索(Neural Architecture Search, NAS),了解不太多。但是这个网络太强了。先码吧,推荐几篇比较好的文章:EfficientNet论文讲解:https://zhuanlan.zhihu.com/p/67508423https://www.cnblogs.com/yumoye/p/1...原创 2020-04-11 14:59:45 · 380 阅读 · 0 评论 -
深度学习------经典卷积网络总结(2)之DenseNet
卷积网络总结(2)------DenseNet6、2017年DenseNet(1)思路在提出ResNet时做出了有这样的假设:若某一较深的网络多出另一较浅网络的若干层有能力学习到恒等映射,那么这一较深网络训练得到的模型性能一定不会弱于该浅层网络.通俗的说就是如果对某一网络中增添一些可以学到恒等映射的层组成新的网路,那么最差的结果也是新网络中的这些层在训练后成为恒等映射而不会影响原网络的...原创 2020-04-11 01:18:50 · 836 阅读 · 0 评论 -
深度学习----经典卷积网络总结(1)
卷积网络总结再进行详细介绍之前先上个图:(下面图片参照:http://blog.csdn.net/cyh_24/article/details/51440344)这张图很好的说明了卷积网络的大致发展脉络,接下来我们对这些网络进行介绍,除此之外我们还将对DenseNet和EfficientNet进行介绍(其中一些缓解过拟合的操作,如Dropout、LRN等我们会在写一篇博客中进行总结...原创 2020-04-11 00:04:31 · 436 阅读 · 0 评论 -
神经网络-激活函数小结
激活函数总结一、激活函数的作用 我们知道神经网络是为了模拟人类大脑对要执行的任务进行学习,而人类的神经元产生兴奋是由一定条件的(阈值),激活函数就是为了模拟这个机制,当输入的激励达到一定强度,神经元就会被激活,产生输出信号。 与此同时,激活函数将非线性特征引入到神经网络当中,如果没有激活函数,输出信号就是一些简单的线性关系的堆叠,往往无法对复杂的任务进行学习。所...原创 2020-04-09 00:23:34 · 576 阅读 · 0 评论