![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 84
Tc.小浩
这个作者很懒,什么都没留下…
展开
-
聚类-谱聚类
聚类算法将聚类问题转化成图的划分问题,最优划分原则是切图后不同的子图间边权重和最小,而子图内的边权重和最大,要找到满足这个优化问题的解是一个NP-难的问题,因此需要使用维数归约的思想去近似地解决这个问题。主要思想是把所有数据点看做是一个无向加权图 G = ( V,E ) 的顶点 V ,E 表示两点间的权重,数据点之间的相似度越高权重值越大。然后根据划分准则对所有数据点组成的图进行切图,使切图后不同的子图间的边权重和尽可能低,而子图内的边权重和尽可能高,从而实现聚类的效果。原创 2022-10-21 09:47:00 · 872 阅读 · 0 评论 -
LE(拉普拉斯)数据降维方法
文章目录高维数据降维-拉普拉斯特征映射拉普拉斯矩阵1.1无向权重图1.2拉普拉斯矩阵1.3LE算法拉普拉斯特征映射基本步骤:例子高维数据降维-拉普拉斯特征映射高维数据降维是指采用某种映射方法,降低随机变量的数量,例如将数据点从高维空间映射到低维空间中,从而实现维度减少。降维的过程是通过对输入的原始数据特征进行学习,得到一个映射函数,实现将输入样本映射后到低维空间中之后,原始数据特征并没有明显的损失,通常情况下新空间的维度要小于原空间的维度。目前大部分降维算法是处理向量形式的数据。拉普拉斯矩阵1.1原创 2022-04-09 10:22:48 · 3004 阅读 · 1 评论 -
starGan-v2论文复现-代码完整
github:https://github.com/clovaai/stargan-v2Paper: https://arxiv.org/abs/1912.01865github上的代码没有预训练权重,并且给出下载地址也拒绝访问,所以基本上没有能跑的完整代码。如果需要完整代码:https://download.csdn.net/download/weixin_48167570/85093151文章目录解决问题内容1、框架效果图损失函数数据集解决问题理想的图片到图片的转换应该能够考虑到域内的各种原创 2022-04-08 15:15:08 · 6659 阅读 · 3 评论 -
主成分分析PCA
文章目录1、相关背景二、为什么要进行数据降维三、数据降维原理四、PCA原理详解4.1PCA的概念4.2 PCA原理五、PCA算法两种实现方法5.1基于特征值分解协方差矩阵PCA算法5.2基于SVD分解协方差矩阵实现PCA算法(奇异值)5.2.1 SVD分解矩阵原理1、相关背景在许多领域的研究与应用中,通常需要对含有多个变量的数据进行观测,收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息,但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下,许多变量之间可能存在相原创 2022-04-04 10:13:53 · 462 阅读 · 0 评论 -
多视图聚类概念
文章目录一、多视图聚类方法分类1.1区分方法(基于相似性)的方法二、多视图聚类半监督多视图学习多视图聚类(MVC)的两个重要原则,互补性和共识原则一、多视图聚类方法分类生成(基于模型)的方法目的:试图了解数据的基本分布,并使用生成模型表示数据,每个模型表示一个集群。区分(基于相似性)的方法目的:直接优化包括相似性的目标函数,以最小化簇内的平均相似性并最大化簇间的平均相似性。根据如何组合多视图信息,可以分为以下五类:公共特征向量矩阵(多视图谱聚类)公共系数矩阵(多视图子空间聚类)公原创 2022-03-31 16:09:03 · 4453 阅读 · 0 评论 -
注意力机制-多头注意力
文章目录多头注意力多头注意力给定一个Query(查询)和一系列的Key-Value对一起映射出一个输出。包括下面三个关键性步骤:将Query与Key进行相似性度量将求得的相似性度量进行缩放标准化将权重与value进行加权在实践中,当给定相同的查询、键和值的集合时, 我们希望模型可以基于相同的注意力机制学习到不同的行为, 然后将不同的行为作为知识组合起来, 捕获序列内各种范围的依赖关系 (例如,短距离依赖和长距离依赖关系)。 因此,允许注意力机制组合使用查询、键和值的不同 子空间表示(repr原创 2022-03-29 21:44:34 · 19073 阅读 · 1 评论 -
Transformer注意力
文章目录Transformer1.1 模型1.2基于位置的前馈网络1.3残差连接和层规范化1.3编码器1.4解码器1.5小结TransformerTransformer模型完全基于注意力机制,没有任何卷积层后循环神经网络层。尽管transform最初是应用于文本数据上的序列到序列学习,但现在已经推广到各种现代的深度学习中,列如语言、视觉、语音和强化学习领域。1.1 模型Transformer作为编码器-解码器架构的一个实例,其整体架构图在下图中展示。正如所见到的,transformer是由编码器和解原创 2022-03-29 15:48:52 · 3351 阅读 · 0 评论 -
核回归注意力机制
文章目录注意力机制1.1注意力提示1.1.1生物学中的注意力提示1.1.2查询、键和值1.2注意力汇聚:Nadataya-Watson核回归1.2.1生成数据集1.2.2非参数注意力汇聚注意力机制灵长类动物的视觉系统接受了大量的感官输入, 这些感官输入远远超过了大脑能够完全处理的程度。 然而,并非所有刺激的影响都是相等的。 意识的聚集和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体,例如猎物和天敌。 只关注一小部分信息的能力对进化更加有意义,使人类得以生存和成功。自19世纪以来,科学家原创 2022-03-29 09:14:41 · 3124 阅读 · 0 评论 -
全网最详细SIFT算法原理实现
文章目录一、SIFT算法1.1什么是SIFT算法?1.2SIFT算法特点二、SIFT算法实质2.1SIFT算法实现特征匹配主要有以下三个流程:三、SIFT算法原理3.1图像金字塔3.2创建图像高斯金字塔3.3高斯金字塔创建总图四、尺度空间五、高斯差分金字塔5.1极值点(Key points)的精确定位5.2确定关键点(极值点)方向5.3关键点描述5.4关键点匹配六、总结一、SIFT算法1.1什么是SIFT算法?尺度不变特征转换(SIFT, Scale Invariant Feature Transfo原创 2022-03-24 16:33:13 · 41462 阅读 · 21 评论 -
机器学习-交叉熵、信息熵、相对熵、KL散度、交叉熵损失等函数讲解
文章目录熵信息熵相对熵、KL散度交叉熵softmax熵熵,是一个物理学概念,它表示一个系统的不确定性程度,或者说是一个系统的混乱系统信息熵n:表示随机变量可能的取值(i=1,2,…n)x:表示随机变量P(x):表示随机变量x的概率函数举一个生动的小例子:班花A从5位同学里挑选男朋友,宿舍1中全是帅哥,班花B在宿舍2中只有一个是帅哥。问题来了:班花A和班花B,那个班花在选择时,大脑更乱?从对选择每个人的概率中,由信息熵公式可得两位班花的大脑混乱程度。由此可知,班花A的大脑更混乱原创 2022-03-15 21:56:58 · 1753 阅读 · 0 评论 -
5.深度学习计算-参数管理
文章目录5.2参数管理5.2.1 参数访问5.2.1.15.2.1.2 一次性访问所有参数5.2.1.3 从嵌套块收集参数5.2.2 参数绑定5.2参数管理一旦我们选择了架构并设置了超参数,我们就进入了训练阶段。此时,我们的目标是找到使损失函数最小化的参数值。经过训练后,我们将需要使用这些参数来做出未来的预测。此外,有时我们希望提取参数,以便在其他环境中复用它们,将模型保存到磁盘,以便它可以在其他软件中执行,或者为了获得科学的理解而进行检查。大多数情况下,我们可以忽略声明和操作参数的具体细节,而只依靠原创 2021-11-28 21:51:37 · 576 阅读 · 0 评论 -
深度卷积网络--特征融合
文章目录一、特征融合介绍(1)早融合:(2)晚融合:一、特征融合介绍特征融合的目的是把从图像中提取到的特征,合并成一个比输入图片特征更具有判别能力的特征。在很多工作中,融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。如何将两者高效融合,取其长处,弃之糟泊,是改善分割模型的关键。很多工作通过融合多层来提升检测和分割的性能,按照融合与预测的先后顺序原创 2021-12-05 14:55:14 · 6326 阅读 · 0 评论 -
深度学习-感受野与有效感受野
文章目录感受野增加感受野有效感受野与反卷积的区别总结感受野卷积核的大小(高度和宽度)定义了一个区域的空间范围,改区域可以被卷积核在每个卷积步骤中修改,因而卷积核的大小称为卷积核的“感受野”。感受野(receptive field, RF),卷积神经网络每一层输出的特征图(feature map)上的特征点在原始图像上映射的区域大小,即特征点能“看”到的范围。越高(深)层的特征点描述的原图信息越全面,越能表述语义信息。神经元之所以无法对原始图像的所有信息进行感知,是因为在卷积神经网络中普遍使用卷积层和原创 2021-11-09 17:08:21 · 4964 阅读 · 3 评论 -
深度学习-MobileNet(v1、v2)网络详解
参考:https://blog.csdn.net/qq_37541097/article/details/105771329转载 2021-11-05 20:25:04 · 1034 阅读 · 0 评论 -
深度学习-空间金字塔池化(Spatial Pyramid Pooling SPP)
文章目录1、介绍2、SPP显著特点3、什么是金字塔池化层参考:https://blog.csdn.net/qqliuzihan/article/details/812177661、介绍在一般的CNN结构中,在卷积层后面通常连接着全连接。而全连接层的特征数是固定的,所以在网络输入的时候,会固定输入的大小(fixed-size)。但在现实中,我们的输入的图像尺寸总是不能满足输入时要求的大小。然而通常的手法就是裁剪(crop)和拉伸(warp)。这样做总是不好的:图像的纵横比(ratio aspect)原创 2021-10-23 17:08:28 · 5740 阅读 · 0 评论 -
深度学习-路径聚合网络(PANet网络)
文章目录1、概括2、介绍3、特征金字塔网络(FPN)4、PANet5、改进点1、概括信息在神经网络中的传播方式非常重要。为了促进信息的流动,提出了一种基于提议的实例分割框架下的路径聚合网络Path Aggregation Network (PANet)。具体地说,我们通过自底向上的路径增强,利用准确的低层定位信号增强整个特征层次,从而缩短了低层与顶层特征之间的信息路径。提出了自适应特征池adaptive feature pooling,它将特征网格和所有的特征层连接起来,使每个特征层中的有用信息直接传播原创 2021-10-23 15:19:01 · 24391 阅读 · 5 评论 -
深度学习-RepVGG网络
文章目录1、概述2、需求解读3、RepVGG算法简介4、RepVGG网络架构详解5、推理阶段Op融合细节详解Conv怎么和BN融合identity怎么转3x3 Conv6、不同配置版本的RepVGG7、RepVGG算法实现步骤8、RepVGG算法效果展示与分析9、总结与分析代码链接参考1、概述本文提出一种简单而强有力的CNN架构RepVGG,在推理阶段,它具有与VGG类似的架构,而在训练阶段,它则具有多分支架构体系,这种训练-推理解耦的架构设计源自一种称之为“重参数化(re-parameteriza原创 2021-10-22 20:07:43 · 4623 阅读 · 0 评论 -
深度学习-图像识别FPN(Feature Pyramid Networks)
文章目录一、FPN二、FPN的整体架构FPN应用于RPN层四、FPN总结一、FPN卷积网络的一个重要特征:深层网络容易响应语义特征,浅层网络容易响应图像特征。但是到了物体检测领域,这个特征便成了一个重要的问题,高层网络虽然能响应语义特征,但是由于Feature Map的尺寸较小,含有的几何信息并不多,不利于物体检测;浅层网络虽然包含比较多的几何信息,但是图像的语义特征并不多,不利于图像的分类,这个问题在小尺寸物体检测上更为显著,这也就是为什么物体检测算法普遍对小物体检测效果不好的最重要原因之一。很自然地原创 2021-10-20 16:34:28 · 1981 阅读 · 0 评论 -
目标检测--R-CNN网络、Fast-RCNN网络
文章目录一、R-CNN算法流程二、利用候选区域与 CNN 结合做目标定位R-CNN存在的问题一、R-CNN算法流程一张图像生成1K-2K个候选区域对每个候选区域使用深度网络提取特征特征送入每一个的SVM分类器,判别是否属于该类使用回归器精细修正候选框位置对非极大值抑制处理后剩余的建议框进一步筛选。接着分别用20个回归器对上述20个类别中剩余的建议框进行回归操作,最终得到每个类别的修正后得分最高的bounding box.二、利用候选区域与 CNN 结合做目标定位借鉴了滑动窗口思想,R-原创 2021-10-17 21:23:36 · 253 阅读 · 0 评论 -
ResNet、ResNeXt网络解析
文章目录一、什么是ResNet网络结构一、什么是ResNet网络结构ResNet是一种残差网络,咱们可以把它理解为一个子网络,这个子网络经过堆叠可以构成一个很深的网络。左边是输入的256的通道数,先在主干上进行3x3x256的卷积,之后再进行激活函数relu,然后再进行3x3x256的卷积,最后和旁边捷径进行相加,必须保证两者的shape相同,再进行relu激活函数。右边图通过1x1x64进行降维,再进行激活函数,然后进行3x3x64的卷积核,进行激活函数,再进行1x1x256的卷积核进行升维操原创 2021-10-17 18:38:36 · 1851 阅读 · 0 评论 -
深度学习-SSD算法
文章目录一、SSD网络结构算法细节详细解析:https://blog.csdn.net/ytusdc/article/details/86577939一、SSD网络结构图1 SSD网络架构(精简版)图2 SSD网络架构(细节版)图3 VGG16网络架构SSD采用VGG16作为基础模型,并且做了以下修改,如图1所示分别将VGG16的全连接层FC6和FC7转换成 3x3 的卷积层 Conv6和 1x1 的卷积层Conv7去掉所有的Dropout层和FC8层同时将池化层pool5由原来的原创 2021-10-17 15:09:10 · 2133 阅读 · 0 评论 -
卷积神经网络-VGGNet
文章目录一、前言二、VGG的特点参数减少VGG网络结构一、前言2014年,牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络:VGGNet,并取得了ILSVRC2014比赛分类项目的第二名(第一名是GoogLeNet,也是同年提出的).论文下载 Very Deep Convolutional Networks for Large-Scale Image Recognition。论文主要针对卷积神经网络的深度对大规原创 2021-10-16 13:02:51 · 1247 阅读 · 0 评论 -
深度学习-AlexNet网络
文章目录AlexNet网络的亮点:过拟合解决过拟合(Dropout)该图是上下两部分,使用了两个GPUAlexNet网络的亮点:首次利用CPU进行网络加速训练使用了ReLU激活函数,而不是传统的Sigmoid激活函数以及Tanh激活函数使用了LRN局部响应归一化在全连接层的前两层中使用了Dropout随机失活神经元操作,以减少过拟合。过拟合根本原因是特征维度过多,模型假设过于复杂,参数过多,训练数据过少,噪声过多,导致拟合的函数完美的预测训练集(在第三个图中,训练得到的函数100%区原创 2021-10-16 10:08:13 · 288 阅读 · 0 评论 -
卷积神经网络(CNN )
文章目录前言卷积层池化层前言卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一卷积层输入特征层的channel与卷积核的channel相同输出的特征矩阵的channel与卷积核个数相同池化层目的:对特征图进行稀疏处理,减少数据运算律下采样层(MaxPooling),去范围内的最大值平均下采原创 2021-10-15 19:39:27 · 164 阅读 · 0 评论