![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 64
主要介绍深度学习的内容,细分语义分割领域
Akita·wang
ADIC研究生
展开
-
空洞卷积(Dilated/Atrous Convolution)精华
空洞卷积:在3*3卷积核中间填充0,有两种实现方式,第一,卷积核填充0,第二,输入等间隔采样。空洞卷积有什么作用呢?扩大感受野在deep net中为了增加感受野且降低计算量,总要进行降采样(pooling或s2/conv),这样虽然可以增加感受野,但空间分辨率降低了。为了能不丢失分辨率,且仍然扩大感受野,可以使用空洞卷积。这在检测,分割任务中十分有用。一方面感受野大了可以检测分割大目标,另一方面分辨率高了可以精确定位目标。捕获多尺度上下文信息空洞卷积有一个参数可以设置dilation rate,具原创 2021-06-17 11:00:13 · 622 阅读 · 1 评论 -
权重衰减(weight decay)与学习率衰减(learning rate decay)
1. 权重衰减(weight decay)L2正则化的目的就是为了让权重衰减到更小的值,在一定程度上减少模型过拟合的问题,所以权重衰减也叫L2正则化。1.1 L2正则化与权重衰减系数L2正则化就是在代价函数后面再加上一个正则化项:其中C0代表原始的代价函数,后面那一项就是L2正则化项,它是这样来的:所有参数w的平方的和,除以训练集的样本大小n。λ就是正则项系数,权衡正则项与C0项的比重。另外还有一个系数1/2,1/2 1/211经常会看到,主要是为了后面求导的结果方便,后面那一项求导会产生一个2转载 2021-05-30 09:30:10 · 483 阅读 · 0 评论 -
Mini-batch 和batch的区别
深度学习的优化算法,就是梯度下降。每次的参数更新有两种方式。第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降。另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent。这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hi原创 2021-05-30 09:21:24 · 2386 阅读 · 0 评论 -
Depthwise卷积+Pointwise卷积=Depthwise Separable Convolution
简单来讲,Depthwise卷积+Pointwise卷积=Depthwise Separable Convolution,效果一样,但是参数量不一样,可以应用于轻量级网络。Depthwise(DW)卷积与Pointwise(PW)卷积,合起来被称作Depthwise Separable Convolution(参见Google的Xception),该结构和常规卷积操作类似,可用来提取特征,但相比于常规卷积操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。常规卷积转载 2021-04-15 09:45:31 · 241 阅读 · 0 评论 -
模型融合方法:Voting/Averaging、Stacking、Boosting和Bagging。
一般来说,通过融合多个不同的模型,可能提升机器学习的性能,这一方法在各种机器学习比赛中广泛应用,比如在kaggle上的otto产品分类挑战赛①中取得冠军和亚军成绩的模型都是融合了1000+模型的“庞然大物”。常见的集成学习&模型融合方法包括:简单的Voting/Averaging(分别对于分类和回归问题)、Stacking、Boosting和Bagging。-->Voting/Averaging在不改变模型的情况下,直接对各个不同的模型预测的结...原创 2021-04-12 14:16:56 · 3281 阅读 · 0 评论 -
backbone、head、neck等深度学习中的术语解释
我们在阅读文章的时候,经常看到backbone headneck 这一类的术语,但是我们可能并不知道是什么意思,这篇文章就是对这些术语进行解释:1.backbone:翻译为主干网络的意思,既然说是主干网络,就代表其是网络的一部分,那么是哪部分呢?翻译的很好,主干部分,哈哈哈哈,文字游戏了哈。这个主干网络大多时候指的是提取特征的网络,其作用就是提取图片中的信息,共后面的网络使用。这些网络经常使用的是resnet VGG等,而不是我们自己设计的网络,因为这些网络已经证明了在分类等问题上的特征提取能力是很..原创 2021-03-29 20:27:28 · 800 阅读 · 0 评论 -
计算机视觉:语义分割(semantic segmentation)相关知识点
目录语义分割(semantic segmentation)相关知识点(1) 语义分割常用数据集(2) 语义分割基本思路(3) 语义分割常用技巧语义分割(semantic segmentation)相关知识点语义分割是目标检测更进阶的任务,目标检测只需要框出每个目标的包围盒,语义分割需要进一步判断图像中哪些像素属于哪个目标。计算机视觉任务的困难: 拍摄视角变化、目标占据图像的比例变化、光照变化、背景融合、目标形变、遮挡等。(1) 语义分割常用数据集PASCAL VOC 2012 1.5k训练图像,1原创 2021-02-19 22:42:48 · 1740 阅读 · 0 评论 -
人体姿势估计模型通用评估指标
通用评估指标需要评估指标来衡量人体姿势估计模型的性能。正确部位的百分比 - PCP:如果两个预测的关节位置与真实肢体关节位置之间的距离小于肢体长度的一半(通常表示为PCP@0.5),则认为肢体被检测到(正确的部位)。它测量肢体的检出率。结果是,由于较短的肢体具有较小的阈值,因此它会对较短的肢体进行惩罚。 PCP越高,模型越好。正确关键点的百分比 - PCK:如果预测关节与真实关节之间的距离在特定阈值内,则检测到的关节被认为是正确的。阈值可以是:PCKh@0.5是阈值=头骨链接的50%时原创 2020-12-03 19:18:19 · 1921 阅读 · 0 评论 -
简述元学习|Meta-learning:学会如何学习
Meta Learning 元学习元学习在很多领域都有应用,本文将通俗易懂的分享Meta-learnign元学习的基本知识,主要分为两个部分:1、什么是元学习2、元学习和机器学习的区别一、什么是元学习1.简单引入我们都知道一个好的机器学习模型通常需要搭配大量的样本去训练,当样本不足的情况下,可能最后的结果也不会尽如人意。和人类一样,一个成年人通过常年累积的学习,很容易去学习一个新事物、辨别两个不同的东西,比如会骑自行车的人大概率会在没有示范的情况下学会骑摩托车;但是小孩子..原创 2020-11-30 15:59:21 · 853 阅读 · 0 评论