![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习基础
文章平均质量分 81
深度学习基础知识分享,自己记录一下学习过程并与大家一起进步。不当指出还请指出
小小小~
人工智能爱好者
展开
-
机器学习指标计算
现在我们指定一个阈值为0.9,那么只有第一个样本(0.9)会被归类为正例,而其他所有样本都会被归为负例,因此,对于0.9这个阈值,我们可以计算出FPR为0,TPR为0.1(因为总共10个正样本,预测正确的个数为1),那么我们就知道曲线上必有一个点为(0, 0.1)。对于不同的模型在相同数据集上的预测效果,我们可以画出一系列的PR曲线。其中,该曲线的横坐标为假阳性率(False Positive Rate, FPR),N是真实负样本的个数,FP是N个负样本中被分类器预测为正样本的个数,P是真实真样本的个数。原创 2023-07-13 21:39:12 · 523 阅读 · 0 评论 -
计算机视觉中的感受野
感受野(ReceptiveField)的定义是卷积神经网络每一层输出的特征图(featuremap)上的像素点在原始输入图片上映射的区域大小。再通俗点的解释是,特征图上的一个点对应原始输入图片上的区域,如下图所示。原创 2023-07-11 08:38:16 · 1872 阅读 · 0 评论 -
深度学习之权重初始化
的初始化则显得至关重要,一个好的权重初始化虽然不能完全解决梯度消失和梯度爆炸的问题,但是对于处理这两个问题是有很大的帮助的,并且十分有利于模型性能和收敛速度。而言,损失函数的导数都是相同的,因此在随后的迭代过程中所有权重都具有相同的值,这会使得隐藏单元变得对称,并继续运行设置的。初始化方式一样,都希望初始化使得正向传播时,状态值的方差保持不变,反向传播时,关于激活值的梯度的方差保持不变。后每层的激活函数输出值的分布,从图中我们可以看出,深层的激活函数输出值还是非常服从标准高斯分布。下面代码为权重初始化为。原创 2023-07-10 22:21:23 · 1110 阅读 · 0 评论 -
深度学习调参技巧
过拟合是一个需要解决的问题,因为它会让我们无法有效地使用现有数据。有时我们也可以在构建模型之前,预估到会出现过拟合的情况。通过查看数据、收集数据的方式、采样方式,错误的假设,错误表征能够发现过拟合的预兆。为避免这种情况,请在建模之前先检查数据。但有时在预处理过程中无法检测到过拟合,而是在构建模型后才能检测出来。我们可以使用上述方法解决过拟合问题。原创 2023-07-09 20:49:11 · 993 阅读 · 0 评论 -
深度学习各类优化器大总结
深度学习中的优化算法采用的原理是梯度下降法,即最小化目标函数Jθ,最优化的求解过程,首先求解目标函数的梯度∇Jθ,然后将参数θ向负梯度方向更新,θtθt−1−η∇Jθη为学习率,表明梯度更新的步伐的大小,最优化的过程依赖的算法称为优化器,可以看出深度学习优化器的两个核心是梯度与学习率,前者决定参数更新的方向,后者决定参数的更新程度。我们定义θ为待优化的参数,Jθ为目标函数,初始学习率为η。再进行一次梯度下降过程中优化算法的执行框架如下:gt∇。原创 2023-07-09 20:33:05 · 1175 阅读 · 0 评论 -
标签平滑知识点
标签平滑(Label smoothing),像L1、L2和dropout一样,是机器学习领域的一种正则化方法,通常用于分类问题,目的是防止模型在训练时过于自信地预测标签,改善泛化能力差的问题。Label smoothing将hard label转变成soft label,使网络优化更加平滑。标签平滑是用于深度神经网络(DNN)的有效正则化工具,该工具通过在均匀分布和hard标签之间应用加权平均值来生成soft标签。它通常用于减少训练DNN的过拟合问题并进一步提高分类性能。原创 2023-07-04 14:40:14 · 410 阅读 · 0 评论 -
dropout层
深度神经网(DNN)中经常会存在一个常见的问题:模型只学会在训练集上分类(过拟合现象),dropout就是为了减少过拟合而研究出的一种方法。一、简介当训练模型较大,而训练数据很少的话,很容易引起过拟合,一般情况我们会想到用正则化、或者减小网络规模。然而Hinton在2012年文献:《Improving neural networks by preventing co-adaptation of feature detectors》提出了,在每次训练的时候,随机让一定数量的卷积停止工作,这样可以提高网络的原创 2022-02-06 11:37:48 · 22919 阅读 · 0 评论 -
Denoising Diffusion Probabilistic Model,DDPM阅读笔记——(二)
扩散过程的表述相对简单,即输入图像。原创 2023-05-05 21:21:48 · 1197 阅读 · 1 评论 -
Denoising Diffusion Probabilistic Model,DDPM阅读笔记——(一)
人工智能生成内容(AI Generated Content,AIGC)近年来成为了非常前沿的一个研究方向,生成模型目前有四个分支,分别是生成对抗网络(Generative Adversarial Models,GAN),变分自编码器(Variance Auto-Encoder,VAE),标准化流模型(Normalization Flow, NF)以及这里要介绍的扩散模型(Diffusion Models,DM)。原创 2023-04-13 14:57:32 · 629 阅读 · 0 评论 -
模型部署之模型转换
在模型落地应用时,我们往往需要先对模型进行格式转换,本篇博客记录从.pth文件转换为.onnx文件的具体流程。一、模型结构定义在模型训练好之后我们有两种保存方式,一种就是将模型的结构与模型的参数一起进行保存,但是由于后续工程的持续改进,这种方法往往并不是很实用,大部分工程采用了第二种方法,也就是只保存模型中的参数部分,由于只有模型的参数,我们在转换模型之前我们需要将模型的结构进行实例化。这也是模型转换的第一步我们可以在原工程中找到get_model这一接口,但是如果对工程并不熟悉的话这一操作往往会比较原创 2022-05-25 11:22:33 · 1029 阅读 · 1 评论 -
深度学习Normalization层大总结
说到BN层,相信做深度学习的同学都有所耳闻,但是其中的原理是什么?有什么作用?有时候可能不是很清楚。为了深入了解其内在的原理,特别通过此篇博客进行记录,并与大家一起共同进步,不正之处还请同学们多多指正呀。原创 2022-03-28 17:25:12 · 3566 阅读 · 0 评论 -
CNN卷积核计算原理
一、单通道卷积以单通道卷积为例,输入为(1,5,5),分别表示1个通道,宽为5,高为5。假设卷积核大小为3x3,padding=0,stride=1。相应的卷积核不断的在图像上进行遍历,最后得到3x3的卷积结果,结果如下:二、多通道卷积以彩色图像为例,包含三个通道,分别表示RGB三原色的像素值,输入为(3,5,5),分别表示3个通道,每个通道的宽为5,高为5。假设卷积核只有1个,卷积核通道为3,每个通道的卷积核大小仍为3x3,padding=0,stride=1。卷积过程如下,每一个通道的像素原创 2022-03-17 14:46:53 · 12569 阅读 · 0 评论 -
深度学习中的激活函数(一)
一、激活函数的意义:先简单介绍一下什么是激活函数~单一神经元模型如下图所示:神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值,并将输入值传递给下一层,输入层神经元节点会将输入属性值直接传递给下一层(隐层或输出层)。在多层神经网络中,上层节点的输出和下层节点的输入之间具有一个函数关系,这个函数称为激活函数(又称激励函数)。下面进入正题,激活函数存在的意义是什么呢,为什么不直接将神经元的输入输出直接进行连接呢?如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况原创 2022-03-21 20:13:36 · 1589 阅读 · 0 评论 -
CNN之权值共享
上图所示:若我们有1000x1000像素的图像(一个输入张量),有1百万个隐藏层的神经元(一个像素即为一个神经元,也就是单次卷积对应的结果数值如下图的动画,一次卷积为一个神经元),如果全连接(即每个隐层神经元都要与图像的每一个像素点进行连接),就有1000∗1000∗1000000=10121000*1000*1000000=10^{12}1000∗1000∗1000000=1012个连接,也就是101210^{12}1012个权值参数。但是图像的空间联系是局部的,就像人是通过一个局部的感受野去感受外界图.原创 2022-03-11 16:24:08 · 2242 阅读 · 0 评论 -
神经网络正向与反向传播
一、神经网络的前向传播原理在全连接神经网络中,每一层的每个神经元都会与前一层的所有神经元或者输入数据相连,例如图中的 f1(e)f _1 ( e )f1(e)就与x1x_1x1 和 x2x_2x2 分别相连。因此,在计算的时候,每一个神经元的输出=使用激活函数激活前一层函数的累加和。下面将通过一个具体例子来理解反向传播的具体流程。下图是一个神经网络的结构图,其中: 输入数据:i1=0.05,i2=0.10 ;权重系数:w1=0.15,w2=0.20,w3=0.25,w4=0.30,w5=0.40原创 2022-03-11 17:08:47 · 4084 阅读 · 0 评论