![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础知识
文章平均质量分 92
YOULANSHENGMENG
这个作者很懒,什么都没留下…
展开
-
深度学习笔记-----FCOS
一,概述 目标检测算法主要分为两个大的方向:单阶段检测器/双阶段检测器,其对应的代表性算法分别是Faster-rcnn和Yolo。而随着目标检测性能的大幅度提升,这个领域的门槛变得很高,仅有很少的大佬们仍然在探索着新的检测算法。其实对于目标检测而言,我们还可以按照其它的类别进行划分,即所谓的基于anchor和anchor-free的算法。FCOS是一个基于anchor-free的单阶段目标检测算法。 该算法是基于anchor-free的,即敢于去挑战权威,在目标检测领域中,很...原创 2021-12-29 11:16:30 · 2822 阅读 · 0 评论 -
深度学习笔记----matplotlib绘制多个子图(汉字标题,XY轴标签,加x,y刻度,给图上每个点加上数值)& PIL.Image 11行读取文件夹中照片
转自:matplotlib绘制多个子图(汉字标题,XY轴标签,加x,y刻度,给图上每个点加上数值)& PIL.Image 11行读取文件夹中照片_Mr_DaYang的博客-CSDN博客_matplotlib多个子图设置标题以下代码解决:matplotlib如何显示汉字 如何在一张图上创建多个子图 加图例,标题,x,y坐标范围,加x,y刻度 控制线型,控制标记风格 给图上每个点加上数值 利用PIL.Image.read(path)读文件夹中照片 图片保存1. 基本操作,效果.转载 2021-12-15 09:39:14 · 1447 阅读 · 1 评论 -
深度学习笔记------Mask-RCNN
1,概述 Mask RCNN沿用了Faster RCNN(https://blog.csdn.net/YOULANSHENGMENG/article/details/121850364)的思想,特征提取采用ResNet-FPN的架构,另外多加了一个Mask(用于生成物体的掩模)预测分割分支。如下图1所示。其中黑色部分为原来的Faster-RCNN,红色部分为在Faster-RCNN网络上的修改。将RoI Pooling 层替换成了RoIAlign层;添加了并列的FCN层(mask层)。...原创 2021-12-13 16:44:11 · 4152 阅读 · 0 评论 -
深度学习笔记------Faster_RCNN
Mask R-CNN是在Faster R-CNN的基础上添加了一个预测分割mask的分支,如上图所示。其中黑色部分为原来的Faster-RCNN,红色部分为在Faster-RCNN网络上的修改。将RoI Pooling 层替换成了RoIAlign层;添加了并列的FCN层(mask层)。...原创 2021-12-10 16:31:07 · 1668 阅读 · 0 评论 -
深度学习笔记------现阶段的目标检测器结构解析(Neck[FPN,PANet,Bi-FPN],Head[rpn,yolo...])
目录1. 概述2. 经典Neck的回顾2.1FPN(特征金字塔结构)2.2 PANet2.2.1创建了自下而上的路径增强2.2.2 Adaptive Feature Pooling2.3 Bi-FPN及FPN的演进ASFF,NAS-FPN,Recursive-FPN)3 典型head回顾3.1 RPN(RegionProposal Networ)3.1.1 RPN的运作机制3.1.2RPN详解3.2 无融合SSD类型的head3.3 自...原创 2021-12-10 15:48:54 · 11979 阅读 · 0 评论 -
深度学习笔记------注意力机制
1.什么是注意力机制 当我们人类在看东西时,一般会将注意力集中注视着某个地方,而不会关注全部所有信息。例如当我们一看到下面这张猫的图片时,主要会将目光停留在猫的脸部,以及留意猫的躯干,而后面的草地则会被当成背景忽略掉,也就是说我们在每一处空间位置上的注意力分布是不一样的。如下图,当需要识别的是猫咪的时候,其他绿色本经特征就是无用的。attention机制就是找到这些最有用的信息。深度学习中的注意力机制(Attention Mechanism)和人类视觉的注意力机制类似,就是在众多信息中把注...原创 2021-11-17 11:00:56 · 5453 阅读 · 0 评论 -
深度学习笔记----拓扑结构动态变化网络(Dropout,Drop Connect, Stochastic Depth, BranchyNet,Blockdrop,SkipNet)
目录1,训练时拓扑结构变化的网络1.1 Dropout与 Drop Connect1.2 Stochastic Depth(随机深度)2,测试时拓扑结构变化的网络2.1 BranchyNet2.2 Blockdrop2.3 SkipNet1,训练时拓扑结构变化的网络 有些网络在训练的时候会随机丢弃一些网络节点,节点之间的连接或者网络模块来增强网络的泛化能力。常用的在训练的时候使用的方法有以下两种。1.1 Dropout与 Drop Connect...原创 2021-11-16 14:52:00 · 3124 阅读 · 0 评论 -
深度学习笔记----三维卷积及其应用(3DCNN,PointNet,3D U-Net)
目录1.什么是三维卷积1.1 三维卷积简介1.2 三维卷积的工作原理2,三维卷积核多通道卷积的区别2.1 多通道卷积2.2 三维卷积和多通道卷积之间的区别2.3 总结3,三维卷积的应用3.1 视频分类3.2 点云分类3.2.1 PointNet网络亮点3.2.2PointNet网络结构3.3 图像分割(U-Net)3.3.1 二维的U-Net3.3.2 三维的U-Net1.什么是三维卷积1.1 三维卷积简介 二维卷积是在...原创 2021-11-15 15:29:20 · 51112 阅读 · 8 评论 -
深度学习笔记-----多输入网络 (Siamese网络,Triplet网络)
目录1,什么时候需要多个输入2,常见的多输入网络2.1 Siamese网络(孪生网络)2.1 Triplet网络1,什么时候需要多个输入 深度学习网络一般是输入都是一个,或者是一段视频切片,因为大部分的内容是对一张图像或者一段视频内容进行分析。但是也有任务需要输入图像对来得到相对结果,比如检测两个图像的相似度,通过目标跟踪得到相对位置。还有些网络也可以输入多张图像进行多尺度的特征提取。比如图像检测,目标跟踪,相对排序。2,常见的多输入网络2.1 ...原创 2021-11-12 14:30:09 · 10759 阅读 · 2 评论 -
深度学习笔记----不同卷积类型的总结
1,标准卷积 卷积核上所有作用点依次作用于原始像素点后(即乘起来),线性叠加的输出结果,即是最终卷积的输出,也是我们想要的结果,我们称为destination(目标) pixel.标准卷积的计算公式为:标准卷积有多种卷积方法,可划分为三种:Same卷积、Valid卷积、Full卷积(反卷积)。有个博文详细讲卷积,可以参考下:卷积原理_abyss_miracle的博客-CSDN博客_卷积原理1.1Same卷积 通过Padding填充0运算保证卷积...原创 2021-11-12 10:10:05 · 5438 阅读 · 1 评论 -
深度学习笔记---多尺度网络结构归类总结
1.什么是图像金字塔 图像金字塔是图像中多尺度表达的一种,最主要用于图像的分割,是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩,一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示,而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低。获得图像金字塔一般包括二个步骤...原创 2021-11-09 17:48:59 · 16839 阅读 · 0 评论 -
深度学习笔记-----增加网络不变性的方法(对空间变换网络和数据增强的方法进行了总结)
1,常见的变换目标变换常见的可以分为刚性运动和非刚性运动,刚性运动即目标的位置和方向发生变化,非刚性运动则是指目标的形状发生变化,包括尺度变换,缩放变换,透视变换。2,从模型本身获取不变性 CNN网络本身对目标的平移,旋转,尺度变化具有一定的尺度不变性。除了丰富的卷积模式本身包含了不变特征提取,还有一些技术专门被用于获取不变性。2.1 从网络结构获取不变性 CNN网络结构本身拥有一定的不变性,如池化可以改变输入的大小,具有一定的平移...原创 2021-11-09 11:21:11 · 3635 阅读 · 0 评论 -
深度学习笔记---什么是空洞卷积
1,标准卷积使用卷积核大小为3*3、填充为1,步长为2的卷积操作对输入为5*5的特征图进行卷积生成3*3的特征图,如图1所示。 图1 普通卷积2. 空洞卷积 使用卷积核大小为3*3、空洞率(dilated rate)为2、卷积步长为1的空洞卷积操作对输入为7*7的特征图进行卷积生成3*3的特征图,如图2所示。 ...原创 2021-11-08 15:43:36 · 3040 阅读 · 0 评论 -
卷积拆分与分组卷积的典型代表网络的总结
1,卷积常规参数计算2 ,什么是卷积拆分一个多通道的普通2D卷积包含了三个维度,分别是通道,长,宽,如下图(a)。 然后将这个卷积的步骤分解为3个独立的方向[1],即通道方向,X方向和Y方向,如上图(b),则具有更低的计算量和参数量。 假如X是卷积核宽度,Y是卷积核高度,C是输入通道数,如果是正常的卷积,那么输出一个通道,需要的参数量是XYC,经过上图的分解后,参数量变为X+Y+C,一般来说C>>X和Y,所以分解后的参数对比之前的参数约为1/(XY...原创 2021-11-05 16:52:59 · 4278 阅读 · 1 评论 -
深度学习网络结构笔记----Depthwise卷积与Pointwise卷积--深度可分卷积-- GoogleNet,Xception,MobileNetv1--v3
1,常规卷积操作 对于一张5×5像素、三通道彩色输入图片(shape为5×5×3)。经过3×3卷积核的卷积层(假设输出通道数为4,则卷积核shape为3×3×3×4),最终输出4个Feature Map,如果有same padding则尺寸与输入层相同(5×5),如果没有则为尺寸变为3×3。 Depthwise Separable Convolution是将一个完整的卷积运算分解为两步进行,即Depthwise Convolution与Pointwise Convolution。...原创 2021-11-05 11:36:14 · 4429 阅读 · 0 评论 -
经典卷积网络学习----FCN(图像分割)
原始的Resnet每个基本单元内只有一条跳层通道,如果使用多条分支,则规模可以完成更加复杂的学习。根据多分支的信息融合方式,多分支残差结构可以分为多分支独立并行残差结构和双通道并行融合残差结构。1,多分支独立并行残差结构...原创 2021-10-28 17:36:03 · 6814 阅读 · 0 评论 -
残差网络结构(2)-密集连接的残差结构DenseNet,CliqueNet
1, DenseNet1.1 , DenseNet如何改变网络的宽度 DenseNet网络增加网络的宽度,主要是通过用其他通道的信息补偿,从而增加网络的宽。 DenseNet网络通过各层之间进行concat,可以在输入层保持非常小的通道数的配置下,实现高性能的网络。先列下DenseNet的几个优点,感受下它的强大:1、减轻了vanishing-gradient(梯度消失)2、加强了feature的传递3、更有效地利用了feature4、一定程度上较少了参数数...原创 2021-10-28 15:12:17 · 4776 阅读 · 1 评论 -
残差网络结构(1)----ResNet,ResNext,ResNetV2
目录1,CNN的发展史2,基础残差网络ResNet和ResNext2.1ResNet和ResNext2.2 ResNet18到ResNet153家族2.3 ResNetV1和ResNetV2(激活和BN放哪里是正确的)1,CNN的发展史 从上图的上半段可以看出,在1*1的卷积的应用在增加网络的深度和宽度后,残差连接的出现,成为了模型设计中的一个新的标准,同时也衍生出了很多新的网络。下面介绍一下,基于残差连接的经典网络。2,基础残差网络ResNet和ResNe...原创 2021-10-28 11:27:11 · 6602 阅读 · 0 评论 -
残差连接构建更深层的网络
目录1,CNN演化2,残差连接想法的基础3,残差结构4,为什么残差连接有效4.1 简化学习过程,增强了梯度传播解决梯度消散4.2为什么可以解决网络退化问题4.3 残差打破了网络的不对称性4.4增加模型的泛化能力GoogLeNet的22层网路已经接近当时探索的网络深度的极限了。知道残差网络的出现,使得1000层的网络构建已经不再是梦想;1,CNN演化先引入一张CNN结构演化图:2012年AlexNet做出历史突破以来,直到GoogLeNet出来之...原创 2021-10-27 17:42:13 · 4021 阅读 · 1 评论 -
网络的宽度对深度学习模型的性能影响
网络的深度带来了逐层的抽象能力,而网络的宽度更宽可以让每层学习到更加丰富的特征,如不同方向,不同频率的纹理特征;1 为什么需要足够的宽度 网络更深带来的一个非常大的好处,就是逐层的抽象,不断精炼提取知识。如下图第一层学习到了边缘,第二层学习到了简单的形状,第三层开始学习到了目标的形状,更深的网络层能学习到更加复杂的表达。如果只有一层,那就意味着要学习的变换非常的复杂,这很难做到。 而宽度就起到了另外一个作用,那就是让每一层学习到更加丰富的特征,比如不同方向,不同频率的纹...原创 2021-10-26 17:09:02 · 1160 阅读 · 1 评论 -
经典卷积网络学习----GoogLeNet
1. Inception结构 Inception结构,是一个多尺度,更宽的分支结构。寓意进行更深刻的感知。其基本结构如图所示,基本组成是4个并行的分支,三种不同尺度的卷积核和一个池化。通过4个分支的计算,在最后将计算的结果进行融合。在InceptionA中3*3,5*5卷积仍然会导致参数量过大,对此问题进行改进,改进的inceptionB结构为:通过改进的InceptionB,网路的宽度没有改变,Inception通过大小不同的卷积核提取图像不同尺度信息,可以得到...原创 2021-10-26 16:47:53 · 234 阅读 · 0 评论 -
卷积神经网络中1*1卷积相关的网络结构
1,瓶颈结构1)什么是瓶颈结构 瓶颈结构就是两头宽,中间窄的网络结构,先降维然后升为维;瓶颈结构不仅增加了网络的深度同时还有效的减少了网络的参数;比较经典的应用:ResNet左边的计算如下:w*h*256*3*3*256 =589824*w*h右边的计算如下:w*h*256*1*1*64 + w*h*64*3*3*64 +w*h*64*1*1*256 = 69632*w*h结果相差大概8.5倍。在移动端部署,模型的大小很受限,这个技术可以不损害模型的精度降...原创 2021-10-25 17:02:18 · 730 阅读 · 0 评论 -
深度学习 1*1 卷积的使用
在卷积神经 网络的开源框架中,一般每层的数据和权重都使用四维的张量的表示。一个四维张量的形状是(N*C*H*W)或(N*H*W*C),其中N是批处理的大小,因为一般训练模型都是采用批量数据;C是特征通道数目,H*W是特征图的高和宽。 通道内特征和通道间特征:在卷积神经网络中,下一层网络的神经元同时融合了上一层特征通道中对应空间位置的神经元及其邻接位置元的信息,以及不同特征通道对应空间位置的神经元信息。...原创 2021-10-25 11:21:45 · 5683 阅读 · 0 评论 -
不同参数对分类模型性能影响记录
影响模型的性能参数,主要有1)卷积核的大小和步长2)学习率的大小和策略3)最优方法4)正则化因子5)网络深度测试网络MobileNet, ALLconv6。测试数据集CHIM-10K,Place201)基础网络单元介绍:a: ALLconv6(6的意思的5个卷积层+一个分类全连接层)b,MobileNet MobileNet描述了一个高效的网络架构,允许通过两个超参数直接构建非常小、低延迟、易满足嵌入式设备要求的模型。 Mob...原创 2021-10-22 15:49:25 · 2025 阅读 · 0 评论 -
深度学习---优化目标(损失函数---分类任务的损失函数)
损失函数用来评价模型的预测值和真实值不一样的程度,损失函数越好,通常模型的性能越好。不同的模型用的损失函数一般也不一样。 常见的损失函数以及其优缺点如下:1.0-1损失函数(zero-one loss)0-1损失是指预测值和目标值不相等为1, 否则为0:特点:0-1损失函数直接对应分类判断错误的个数,但是它是一个非凸函数,不太适用.2. log对数损失函数log对数损失函数的标准形式如下:特点:(1) log对数损失函数...原创 2021-10-14 16:29:49 · 1925 阅读 · 0 评论 -
深度学习的性能评价指标---检索与回归评价指标
1. IOU IoU(Intersection-over-Union),即交并比,衡量的是两个区域的重叠程度,是两个区域重叠部分面积(A)占二者总面积(B)的比例(注意:计算两者总面积时重叠部分只计算一次)。图2.1两个矩形区域的IOU,A为交集,B为并集 在深度学习目标检测任务中,IoU 主要用于训练过程中的边框回归,计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值,如果两个区域完全重叠,则IoU等于1,是最理想的情况。一般在检测任务...原创 2021-10-14 15:01:19 · 600 阅读 · 1 评论 -
深度学习的性能评价指标---图像分类的评价指标
图像分类的评价指标 图像分类的概念:是一个模式分类的问题,将不同的图像(注意单位,是一张图像,最后理解的如手写体的图像集)划分到不同的类别、单标签分类问题就是每一张图都有唯一的类别; 单标签分类的评价指标有:准确率(Accuracy),精确率(Precision),召回率(Recall),F1-score,混淆矩阵,ROC曲线和AUC;在计算这些指标之前,需要先计算几个基本的指标:TP:正样本且分类为正样本的数目为(True Positive)FN:标签为正样本分类为负样本...原创 2021-10-14 11:51:28 · 9799 阅读 · 0 评论 -
深度学习优化方法笔记
什么是鞍点:鞍点意味着某一些方向梯度下降,而另一些方向梯度上升;常用的优化方法 深度学习中常用的优化方法有一阶(求一阶导数如随机梯度下降(SGD)及SGD的变种)和二阶(求二阶导数如牛顿法)两种。1) 梯度下降梯度下降是用来做什么的? 在机器学习算法中,有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行优化,以便寻找到最优的参数,使得损失函数的值最小。而在求解机器学习参数的优化算法中,使用较多的就是基于梯度下降的优化算法(Gradient ...原创 2021-10-13 17:00:12 · 215 阅读 · 0 评论 -
深度学习笔记-----归一化方法BN
1.什么是归一化:归一化又称规范化,并不是一个完全定义好的数学操作,通常是指将数据进行偏移和尺度缩放。是数据预处理中常用的手段。一般是将输入的数据约束固定到一定的范围如【0,1】。没有固定的数学表达式,根据需求定义将数据规定到一定范围内的数学表达式;2.归一化方法的目的:实际上是通过采取不同的变换方式使各层的的输入数据近似满足独立的分布条件,并将各层的输出限定在一定的范围3.在深度学习中常用的归一化方法:零均值归一化,也称为标准化方法,它用每一个变量值与其平均值之差除以该变量的标准差。经过这样的处.原创 2021-10-13 11:28:42 · 2446 阅读 · 1 评论 -
深度学习笔记------激活函数
激活函数的作用:增加网络的非线性能力1,Sigmoid函数特点: 经过改函数作用后的值分布在【0,1】之间,导数的范围也为【0,1】之间,模拟了一个神经元随着输入不断增加从完全不激活状态到完全激活的过程;缺点: 1)两端是饱和区,饱和区域内的梯度接近为0,会带来熟悉的梯度消失的问题。一旦神经元进入到饱和区,就难以继续优化; 2)Sigmoid导数会变的越来越小,导致梯度越来越难回传,会降低网络的收敛的速度,导致网络不能收敛到好的状态; 3)...原创 2021-10-12 17:27:06 · 621 阅读 · 0 评论 -
卷积神经网络的基础知识笔记
1,什么是卷积卷积的定义:卷积是两个变量在某范围内相乘后求和的结果原创 2021-10-12 15:30:57 · 588 阅读 · 0 评论 -
早期几种不同的基础网络模型的介绍及实现
MP模型:1943年提出,是一种基于阈值逻辑运算法创造的神经网络计算模型。由固定的结构和权重组成。是一种简单的数学模型,模拟生物神经元的激活方式。成功证明神经元能够执行逻辑功能,开创了人工神经网络研究的时代。感知机模型:1957年提出,结构和MP模型相似,一般被视为最简单的人工神经网络,也被作为二元线性分类器广泛使用。一般是指单层的人工神经网络感知机的学习过程:就是将实际值和理论输出值做差,由此来调整每一个输出端的权重,学习规则是用来计算新的权重向量W和新的偏差值B的算法。下面使用py.原创 2021-09-22 20:02:13 · 623 阅读 · 0 评论