机器学习
文章平均质量分 89
justld
努力努力再努力
展开
-
【论文笔记】STDC Net 论文阅读笔记
BiSeNetV1和BiSeNetV2都采用双分支结构(spatial path 和 context path),分别用来提取空间信息和上下文信息,多分支结构计算耗时较多,且使用图像分类任务的预训练模型并不一定适合语义分割任务。STDC对BiSeNet结构做出了改变,移除了spatial分支,同时采用Short-Term Dense Concate network(STDC network)结构并引入辅助头detail head来提取低级细节信息。STDC在citiscapes测试集上mIoU为71.9%,原创 2022-04-02 18:45:04 · 2421 阅读 · 0 评论 -
【论文笔记】RepLKNet论文阅读笔记
自从VGG提出以后,各种CNN网络层出不穷,但是他们都遵循了VGG的设计思想,通过多个小卷积核叠加来得到大的感受野同时保证较少的参数量(2各3x3的卷积核感受野和5x5的卷积核感受野相同,但是参数18<25)。随着ViT逐渐在各类视觉任务种拿到SOTA的表现,CNN似乎有点后继无力。RepLKNet打破了这种现象,提出使用在CNN网络中使用大的卷积核,RepLKNet在各类视觉任务中获得了SOTA表现。原创 2022-03-21 20:31:04 · 2434 阅读 · 0 评论 -
【深度学习】激活函数合集
神经网络中激活函数的主要作用是提供网络的非线性建模能力,本文包含23种激活函数及其对应的函数图像,也给出pytorch对应的示例可视化代码。原创 2022-03-18 16:09:43 · 3041 阅读 · 1 评论 -
【论文笔记】MobileNet系列论文阅读笔记
本文为MobileNet系列论文阅读笔记。MobileNet是一个轻量级模型,参数少、推理快,在学术界和工业界都很受欢迎。原创 2022-03-16 21:24:20 · 1753 阅读 · 0 评论 -
【深度学习】学习率策略合集
深度学习中有各种学习率策略,本文统计了pytorch和paddlepaddle共16种学习率策略,给出示例代码及对应的学习率变化图,相信一定对你有所帮助。原创 2022-03-16 17:06:08 · 5232 阅读 · 0 评论 -
深度学习梯度裁剪策略及numpy实现
神经网络是通过梯度下降来进行网络学习,随着网络层数的增加,"梯度爆炸"的问题可能会越来越明显。例如:在梯度反向传播中,如果每一层的输出相对输入的偏导 > 1,随着网络层数的增加,梯度会越来越大,则有可能发生 "梯度爆炸"。如果发生了 "梯度爆炸",在网络学习过程中会直接跳过最优解,所以有必要进行梯度裁剪,防止网络在学习过程中越过最优解。本文实现了3中梯度裁剪策略,并与pytorch/paddle实现的方法进行对比。一、clip by value设置梯度范围为[-value, value原创 2022-03-06 20:38:55 · 1201 阅读 · 0 评论 -
深度学习归一化方法
神经网络学习的本质就是学习数据的分布。如果没有对数据进行归一化处理,那么每一批次训练的数据的分布就有可能不一样。本文介绍了深度学习中常用的几种归一化方法,并且使用numpy实现了几种方法,相信一定能让你有所收获。原创 2022-03-09 20:59:56 · 7134 阅读 · 0 评论