深度学习进阶
文章平均质量分 66
往事如yan
左眼425 右眼400 瞳距 64,所以摘了眼镜,我就一标准瞎子
当作笔记来用的,很多东西是ctrl+C and ctrl+V,再 + 一点自己理解
展开
-
人群计数 MCNN 解析 PGCNet
人群计数研究的发展传统的:直接回归计数法--- input(图片)——>outout(人数) 参考目前深度学习主流的: input(图片)——>output(密度图)——>估计人数为什么不基于深度学习的目标检测、原因是目标检测对于密集对象与超小目标对象很难正确识别与准确计数。无法正确给出密集人群的模型与聚集程度。进展 | 密集人群分布检测与计数_Dataset首先对于这个新的细分领域的深度学习可以从这篇文章入门开始:人群计数:从MCNN开始谈起~ - 知乎.原创 2022-03-13 17:06:40 · 2696 阅读 · 0 评论 -
深度学习: 学习率热身 (warm up)
深度学习训练策略-学习率预热 Warm upWarm up 主要解决如下几个问题:训练是否成功的问题,参考这篇(1)训练出现NaN:当网络非常容易nan时候,采用warm up进行训练,可使得网络正常训练;(2)过拟合:训练集损失很低,准确率高,但测试集损失大,准确率低,可用warm up;具体可看:Resnet-18-训练实验-warm up操作其他几篇可以参考的文章:https://blog.csdn.net/weixin_40051325/article/deta...原创 2021-05-30 08:56:06 · 1057 阅读 · 0 评论 -
关于特征金字塔结构 FPN,终于听明白了它的原理
https://abcxueyuan.baidu.com/#/play_video?id=15331&courseId=15331&mediaId=mda-kmvq92ymhnszuqpv&videoId=4478§ionId=15580&type=%E5%85%8D%E8%B4%B9%E8%AF%BE%E7%A8%8B&showCoursePurchaseStatus=false31:00浅层网络(下层网络) 感受野小,但是只能感受到纹理等细原创 2021-05-28 05:03:26 · 1398 阅读 · 0 评论 -
L1和L2正则化和L1和L2损失
L1和L2正则化L1和L2正则化(岭回归和LASSO)_海军上将光之翼的博客-CSDN博客_l1正则化回归L1和L2损失L1和L2损失函数(L1 and L2 loss function)及python实现_海军上将光之翼的博客-CSDN博客_l2损失L1与L2损失函数和正则化的区别 - 山阴少年 - 博客园图像卷积神经网络损失函数正则化一般 L2正则化用的多,参考...原创 2021-04-17 22:55:45 · 199 阅读 · 0 评论 -
backbone、head、neck等深度学习中的术语解释
我们在阅读文章的时候,经常看到backbone head neck 这一类的术语,但是我们可能并不知道是什么意思,这篇文章就是对这些术语进行解释:backbone:翻译为主干网络的意思,既然说是主干网络,就代表其是网络的一部分,那么是哪部分呢?这个主干网络大多时候指的是提取特征的网络,其作用就是提取图片中的信息,共后面的网络使用。这些网络经常使用的是resnet、VGG等,而不是我们自己设计的网络,因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候,都原创 2021-04-16 09:18:34 · 672 阅读 · 0 评论 -
对深度学习图像处理做个总结
任务类型分:图像分类:目标检测:图像分割:原创 2020-10-16 18:40:58 · 589 阅读 · 2 评论 -
深度学习训练的过程意图是亲眼
https://aistudio.baidu.com/aistudio/projectdetail/424865原创 2020-06-02 20:20:45 · 635 阅读 · 0 评论 -
学习率的问题
一般finetune用adam1e-5那就sgdm1e-5。我的设置貌似有点高。。原创 2020-05-31 20:32:27 · 676 阅读 · 0 评论 -
paddleX LIME可解释性
使用LIME算法将模型预测结果的可解释性可视化。LIME表示与模型无关的局部可解释性,可以解释任何模型。LIME的思想是以输入样本为中心,在其附近的空间中进行随机采样,每个采样通过原模型得到新的输出,这样得到一系列的输入和对应的输出,LIME用一个简单的、可解释的模型(比如线性回归模型)来拟合这个映射关系,得到每个输入维度的权重,以此来解释模型。https://paddlex.readthedocs.io/zh_CN/latest/apis/visualize.html使用NormLIM..原创 2020-05-30 22:32:42 · 467 阅读 · 0 评论 -
传统高精度机器视觉与深度学习机器视觉如何结合?(占坑)
总结一下: 在简单、固定的情形里面,传统算法或许能在计算资源消耗上优于深度学习,但是算法的表现最多只能是媲美训练perfect的深度学习模型;但是在复杂且干扰甚多的情形下,传统算法综合来说无法媲美深度学习模型。那么传统算法如何同深度学习结合了?我根据工作经验认为主要有以下几点:数据预处理, 深度学习算法的前期数据预处理阶段需要使用传统算法进行增强,比如对某些有“缺陷”的样本进行初步筛选,比如对有些你需要网络学习的特征进行增强处理等等。 在某些深度学习模型中提供参考,比如在某些condition G原创 2020-05-28 08:50:39 · 1275 阅读 · 0 评论 -
神经网络中 warmup 策略为什么有效
这个问题目前还没有被充分证明,我们只能从直觉上和已有的一些论文[1,2,3]得到推测:有助于减缓模型在初始阶段对mini-batch的提前过拟合现象,保持分布的平稳 有助于保持模型深层的稳定性下面来看一下为什么warmup会有这样的效果。...原创 2020-05-28 00:22:54 · 496 阅读 · 0 评论 -
LIME技术个人总结和理解
方法:干涉输入,然后观察预测结果会怎样变化。实验表明这种做法在可解释性上是有用的。因为我们可以通过改变人类可以理解的组件(比如单词或图像的一部分)来改变输入,即使模型使用的是更加复杂的组件(比如词向量)作为输入的特征。LIME 背后的关键直觉就是,通过一个简单的模型来局部地(在我们想要解释的预测的附近)逼近一个黑箱模型会比全局性地去逼近这个模型要容易得多。怎么实现?(通过给改变后的输入图像设定权重的方式来实现,权重的值是改变后的图形和我们想要解释的实例的相似度的值。)图 3 所示的.原创 2020-05-26 14:23:16 · 2200 阅读 · 0 评论 -
百度飞桨模型压缩库 paddleslim直播
讲百度飞桨的模型压缩库 paddleslimhttps://live.bilibili.com/21689802剪裁...原创 2020-05-17 20:11:23 · 538 阅读 · 0 评论 -
卷积的进阶
CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中探讨日后的CNN变革方向。注:水平所限,下面的见解或许有偏差,望大牛指正。另外只介绍其中具有代表性的模型,一些著名的模型由于原理相同将不作介绍,若有遗漏也欢迎指出。一、卷积只能在同一组进行吗?-- Group convolutionGroup convolution 分组卷积,最早在AlexN.原创 2020-05-14 14:49:33 · 1090 阅读 · 0 评论 -
各种高效的网络结构巡礼
暂时发现如下宝藏专栏,有空把下面的看了,根据入门先到后再重新排序。根据看完每一篇,其中有看不懂的,备注,解释,再贴出来。一文读懂卷积神经网络中的1x1卷积核 - 知乎https://zhuanlan.zhihu.com/p/40050371CNN更新换代!性能提升算力减半,还即插即用 - 知乎https://zhuanlan.zhihu.com/p/62598364为什么MobileNet及其变体如此之快? - 知乎https://zhuanlan.zhihu.com/p/641384原创 2020-05-14 13:12:10 · 174 阅读 · 0 评论 -
总结的几篇深度学习调参经验---综合
一. 初始化有人用normal初始化cnn的参数,最后acc只能到70%多,仅仅改成xavier,acc可以到98%。或者直接用预训练模型,采用百度工程师推荐的warmup,然后再 finetune,怎么finetune,看我以前的文章。二.从理解CNN网络以产生直觉去调参数的角度考虑,应该使用可视化可视化(知乎用户 杨军)刚开始, 先上小规模数据, 模型往大了放, 只要不爆显存, 能用256个filter你就别用128个. 直接奔着过拟合去. 没错, 就是训练过拟合网络, 连测试集...原创 2020-05-13 20:47:25 · 468 阅读 · 0 评论 -
详解分类任务的视觉注意力(持续更新)
将从讲解,代码实现,复现,到甚至后面的结果验证,持续更新(22条消息)【计算机视觉】详解分类任务的视觉注意力:SENet、CBAM、SKNet (视觉注意力机制 (二))_人工智能_棠雪清芬-CSDN博客https://blog.csdn.net/qq_39478403/article/details/105458511...原创 2020-05-12 14:59:50 · 310 阅读 · 0 评论 -
怎样做才是真正的finetune?
我们假设在Resnet101后面加上一个全连接层,然后我们锁住前面Resnet的参数,不参加梯度更新,然后只更新最后一个全连接层的参数。当全连接层的loss足够小的时候,再释放所有的参数一起训练。这样Resnet的参数也会微微调整,这就是finetune;迁移学习transfer learning与微调fineTune的区别?一看就懂 - 知乎...原创 2020-05-12 14:05:04 · 724 阅读 · 0 评论 -
EfficientNet文章分析的重点提取
传统增加模型精度的方法:ResNet[1]可以通过增加层数将 ResNet-18扩展到 ResNet-200 GPipe[2]通过将 CNN baseline扩展4倍,在 ImageNet[3]上实现了84.3% 的准确率。传统的模型缩放实践是任意增加 CNN 的深度 任意增加 CNN 的宽度 使用更大的输入图像分辨率缺点:需要长时间的手动调优,并且仍然会经常产生次优的性能。一篇ICML文章[4]提出了一个更有原则性的方法来扩大 CNN 的规模,从而可以获得更好的准确性和...原创 2020-05-11 23:50:28 · 695 阅读 · 0 评论 -
出现过拟合的根本原因是什么?
数据层面:我的两方面理解:1 观察值与真实值存在偏差:训练样本的获取,本身就是一种 抽样。抽样操作就会存在误差, 也就是你的训练样本 取值 X, X= x(真值) + u(随机误差),机器学习的 优化函数 多为 min Cost函数,自然就是尽可能的拟合 X,而不是真实的x,所以 就称为过拟合了,实际上是学习到了真实规律以外的 随机误差。举个例子说,你想做人脸识...原创 2020-05-05 16:16:00 · 3036 阅读 · 0 评论 -
bug记录---keras引入不包含头部加全连接层导致参数巨大
即使我用的MobileNetV2 预训练模型,发现执行以下操作:base_model = MobileNetV2(weights=None, include_top=False, pooling=None, input_shape=(ROWS, COLS, CHANNELS), classes=2)base_model.load_weights('/home/ma-user/work/we...原创 2020-05-04 11:48:46 · 429 阅读 · 0 评论 -
黄埔学院❸ | 线上预科班>课节4: 毫米级智能质检帮助制造业按下快进键
质检评价指标30.50 因为测试集 缺陷 和良品 可能是 1:1,导致 测试集算出来 的 漏检率 可能很高,这要做个换算,因为我们的数据集是 加大了缺陷品的,要把这个比率 和 平常 的比率 算一下,或者 实际 拿 产线 多少个 流水的产品数据集 过一遍 模型,通过人工检测 来算一个 模型的 漏检率,过杀率。...原创 2020-05-04 07:38:41 · 141 阅读 · 0 评论 -
黄埔学院❸ | 线上预科班——课节3: 十行代码高效完成深度学习POC
16.55 工业检测上 实力分割 和语义分割的应用场景。19.18 X 是计算量,Y是 表示模型的精度,还有个维度,圈圈的大小,圈圈越大,表示它的内存开销越大,精度最高的是这种 基于 automl 做的模型,19.4835.5538.30 训练的预热。在做 迁移学习的时候, 预训练的数据和你 现在的业务场景数据分布是不一样的,所以,怎么样调参更好呢...原创 2020-05-03 01:30:30 · 293 阅读 · 0 评论 -
黄埔学院❸ | 线上预科班——课节3: 十行代码高效完成深度学习POC(QA部分)
https://aistudio.baidu.com/aistudio/education/group/info/1124直播回放-QA部分-30min3.59 主流的做法是在 服务端训练,在部署的时候进行一些优化,比如 量化剪枝蒸馏等。比如 int8,fp16等会更好;其次就是 用 padle slim 框架,或者言有三 知识星球里讲的 其他 优化的文章。4.1...原创 2020-04-25 14:42:04 · 335 阅读 · 0 评论