深度学习DL
文章平均质量分 77
关于深度学习的一些知识集
我是一个对称矩阵
这个作者很懒,什么都没留下…
展开
-
NMS流程及示例代码
以某yolo模型输出的61440*6的数据为例,总共输出61440的bbox(实际只有3个目标),每个bbox的格式为[cx,cy,w,h,conf,cls_score],分别代表bbox的4个值,置信度以及类别分类得分。],所有的类别得到之和等于1。在该过程中有bbox2和bbox3和bbox1的IOU较高,被舍弃。在上面的过程中,标准bbox即绿色的bbox,在代码中会加入到结果result中,最后有3个bbox(bbox1、bbox3、bbox5)加入到result,其余的则被舍弃。原创 2024-08-26 13:33:04 · 612 阅读 · 1 评论 -
熵、KL散度和交叉熵
首先我们需要知道,所有的模型都可以看作是一个概率分布模型,包括人脑进行图像分类时也可以看作是一种完美的模型。原创 2023-06-22 23:48:45 · 614 阅读 · 0 评论 -
t-SNE进行分类可视化
我们在论文中通常可以看到下图这样的可视化效果,这就是使用t-SNE降维方法进行的可视化,当然除了t-SNE还有其他的比如PCA等降维等方法,关于这些算法的原理有很多文章可以借阅,这里不展开阐释,重点讲讲如何进行可视化。原创 2023-04-12 18:23:28 · 15335 阅读 · 5 评论 -
人脸表情识别数据集:CK+
比如上图是人S026做出的某类表情,第一张是自然,缓慢变化到最终是峰值快乐表情。某些实验会说明在CK+上的精度,所以需要自己制作为ImageNet式的数据集。原创 2022-11-24 15:29:59 · 7125 阅读 · 15 评论 -
为什么图像范围限制多用clip而不是等比缩放至0~255范围?
事实上通过模型产生的超分辨图像也存在一些”异常点“,其中一些”异常点“表现为值很大或者很小,而通过clip则可以剔除这些异常点,而等比缩放虽然限制到了0~\255,但是没有剔除异常点。比如现在通过模型产生一个超分辨的图像矩阵,但是其像素值范围在-20~270之间并不是严格在0~255的,所以一般用一些方法将其限制在0~255。总之,”正常“的像素值本身会在0~\255,超过这个范围的可以理解为异常值,所以通过clip剔除掉。那么为什么几乎所有的代码在都使用clip呢?原创 2022-11-17 15:20:52 · 740 阅读 · 0 评论 -
Spatial Transformer Networks(空间转换器)及在MNIST中的应用
STN空间变换器在一些论文中会见到,而且因其简单有效、即插即用等特性,应用较多。为了充分理解论文和方便日后使用,这里记录一下STN以及应用在MNIST任务中。原创 2022-09-22 19:52:53 · 2355 阅读 · 1 评论 -
矩阵低秩与图像去噪去码等应用
秩是线性代数中的概念,实际上一幅清晰干净的图像就是低秩的矩阵,那么我们将如何利用这个特性来对图像去噪去码?这就要使用低秩矩阵恢复了!原创 2022-09-22 14:31:41 · 2932 阅读 · 2 评论 -
从哥德尔定理及其哲学意义来看人工智能的可行性
哥德尔定理从理论上否定了目前这种形式化计算系统能够达到人脑的智能的可能,因为任何形式系统总能在其中构造不能被通过执行算法来解决的问题。就像一面墙,计算机想要打破这面墙,只有通过除了“计算”以外的行为才能打破。但是形式化系统不能够执行“计算”以外的行为。生活中人脑所处理的很多活动对于形式化系统就是一面墙,所以计算机不能达到人脑这种智能状态。原创 2022-09-18 14:20:43 · 1172 阅读 · 1 评论 -
ClearML入门:简化机器学习解决方案的开发和管理
ClearML 是一个开源平台(之前叫TRAINS),可为全球数千个数据科学团队自动化并简化机器学习解决方案的开发和管理。它被设计为端到端的MLOps套件,允许您专注于开发ML代码和自动化,而ClearML确保您的工作可重复和可扩展。仅用 2 行代码跟踪和上传指标和模型创建一个机器人,每当模型的准确性提高时,该机器人就会向你发送 Slack 消息通过 3 次鼠标点击重现实验简单来讲,比如你进行深度学习的训练,会涉及到输入的超参数管理、控制台输出保存用于复现、模型文件存档、环境信息等。...原创 2022-08-21 00:11:28 · 10787 阅读 · 1 评论 -
深度可分离卷积(DepthwiseSeparableConvolution):Depthwise卷积与Pointwise卷积
深度可分离卷积不用多说,在轻量级网络架构方面是一个绕不开的话题,只要接触深度学习多多少少会接触。深度可分离卷积即DepthwiseSeparableConvolution,该卷积将一个常规卷积过程划分成两个完成Depthwise卷积和Pointwise卷积,在保证输出一样时,计算量大大降低。首先来看,一个常规卷积是怎么实现的。其示意图如果我们从通道数变换的角度来看,卷积就是将3通道的tensor变为了4通道的tensor,我们来看看深度可分离卷积是怎么实现通道的变化的。...原创 2022-07-24 14:59:13 · 9441 阅读 · 0 评论 -
分组卷积(Group Converlution)
分组卷积及pytorch实现原创 2022-07-24 14:49:41 · 4522 阅读 · 0 评论 -
动手画混淆矩阵(Confusion Matrix)(含代码)
1、混淆矩阵:Confusion Matrix2、怎么画?3、怎么用?1、混淆矩阵:Confusion Matrix首先它长这样:怎么看?Confusion Matrix最广泛的应用应该是分类,比如图中是7分类的真实标签和预测标签的效果。首先图中表明了纵轴是truth label,横轴是predicted label,那么对于第一行第一个0.60的含义是:本来是angry标签的图,我的模型正确分类成angry的比例是60%,也即是angry这一类模型分类正确的精度只有60%。同时模型将angr.原创 2022-04-18 18:34:02 · 50966 阅读 · 73 评论 -
特征金字塔:FPN(Feature Pyramid Networks)
1、introduction在目标检测中,对于小目标的检测是一个难点,如果我们使用传统的多级卷积运算,可能导致像素占比少的小目标在该过程中丢失,所以如何提取高级特征还能保留小目标的信息是一个问题。FPN即特征金字塔,来自论文《Feature Pyramid Networks for Object Detection》。其基本...原创 2022-04-04 19:46:18 · 11290 阅读 · 0 评论 -
迁移学习导论-cap8:预训练方法
1、为什么能够使用预训练?一种观察现象:假设一网络的输入是一只狗,在网络的最初几层,网络只能检测一些边边角角的低级特征;到了中间的层,网络可能会检测到一些线条和圆形,比边边角角特征更明显;到了较深层,网络能够提炼代表狗的高级特征,比如腿、脸等。对于这种观察到的现象,一种广泛接受的解释是:对于CNN,其渐层负责学习通用的特征(比如边、角等),深层负责学习与任务相关的特殊特征(腿、脸等)。随着层次的加深,网络渐渐从通用特征过渡到特殊特征的学习表征。由上可知,既然浅层是与任务无关的,而高层是与任务相关的,原创 2022-03-18 14:55:39 · 1195 阅读 · 0 评论 -
PCA:主成分分析
本文的参考文章:【机器学习】降维——PCA(非常详细)目录1. 介绍2. 矩阵的内积3. 协方差和协方差矩阵4. 矩阵对角化5. 如何降维(使用PPP)?1. 介绍又称主分量分析技术,旨在利用降维的思想,把多指标转化为少数几个综合指标。比如对于WINE数据集总共有178个样本,每个样本有13个属性,有1个分类标签。那么我们可以猜测是否这13个属性都能对我们的分类提供帮助,是否存在某些属性是在划水?如果能把这些属性降维能够帮助我们降低数据量。2. 矩阵的内积对于向量内积Y=PXY=PXY=PX代表X原创 2021-12-14 16:31:42 · 1831 阅读 · 0 评论 -
卷积神经网络结构可视化工具PlotNeuralNet
0. 效果展示这是GitHub项目地址偷了几张项目中的展示图感受下,要是喜欢这个风格,就继续往下看:1. 使用该项目我只在Ubuntu18成功运行过,Windows试过没有成功。1.1 克隆项目到本地1.2 安装相关ubuntu 16.04sudo apt-get install texlive-latex-extraubuntu 18.04sudo apt-get install texlive-latex-basesudo apt-get install texlive-fo原创 2021-05-24 21:38:39 · 1825 阅读 · 3 评论 -
范数和正则化
1. 范数在深度学习中常见L1L_1L1范数、L2L_2L2范数,那么关于范数的数学形式定义:几种常见的范数:L1L_1L1范数,即p=1p=1p=1时,此时 ∣∣x∣∣=Σ∣xi∣||x||=Σ|x_i|∣∣x∣∣=Σ∣xi∣,直观上就是xxx的绝对值和L2L_2L2范数,即p=2p=2p=2时,此时∣∣x∣∣=(Σ∣xi∣2)1/2||x||=(Σ|x_i|^2)^{1/2}∣∣x∣∣=(Σ∣xi∣2)1/2,也称欧几里得范数,直观上就是xxx的平方和的开方,几何意义为从原点出发原创 2021-09-11 17:12:22 · 756 阅读 · 0 评论 -
欠拟合与过拟合
原创 2021-09-11 17:07:22 · 103 阅读 · 0 评论 -
卷积核(kernel)和过滤器(filter)的区别
0. 前言关于卷积核和过滤器的定义,事实上在使用时没有多在意,毕竟能理解作者意思即可。但是这篇文章让我理解了为什么使用深度学习框架定义卷积层时,该层的输出通道=卷积核的个数?因为在我看来,如果输入通道=3(比如RGB格式图片),卷积核个数为1,那么输出通道=3,因为卷积核对每个输入通道都进行运算。但实际上深度学习框架中定义卷积核个数,可能是指滤波器的个数。1. 两者分别一句话:卷积核是二维的,滤波器是三维的(高维,也可能是四维的)卷积核就是由长和宽来指定的,是一个二维的概念。而过滤器是是由长、宽原创 2021-05-28 15:39:39 · 8999 阅读 · 6 评论
分享