深度学习
文章平均质量分 82
深度学习探索者
有事做,有人爱,有所期待
展开
-
深度学习中常见的四种数据标准化方法详细解读(StandardScaler、MinMaxScaler、RobustScaler、MaxAbsScaler)
最近,本人在优化深度神经网络模型时发现为了减少预测标签值和真实标签值之间差距,不仅仅需提高模型本身的性能,还关乎于标签值标准化、数据集划分、模型超参数等一系列初始设定。其中后两项的实验内容俗称“炼丹”,很多研究人员已经炉火丹青,运筹帷幄,唯独标签值标准化容易被人忽略。一个优秀的标准化方法不仅能提高模型训练的稳定性,加速收敛,还能增强模型测试性能,可谓是中流砥柱。现有模型训练大多默认选用 StandardScaler(),这本没错,但是如果能够参考标签值分布尝试其他方法,并修改为适合的激活函数。原创 2024-08-05 11:28:49 · 892 阅读 · 0 评论 -
深度学习中几种常见数据标准化方法
方法名称缩放范围适用条件均值为0,方差为1数据具有正态分布的情况下效果最佳[0, 1]数据分布不平衡或有明显的上下界限根据四分位数缩放数据包含异常值[-1, 1]数据已经中心化,即没有偏移Normalizer每个样本的范数为1样本之间有显著的差异,需要将其归一化[0,1]或正态分布数据分布不均匀Johnson)均值为0,方差为1数据具有正态分布或接近正态分布非负数据的对数缩放数据必须为正值或非负值:适用于数据本身的分布近似正态分布。原创 2024-06-09 19:37:22 · 1344 阅读 · 0 评论 -
深度学习中常见的九种交叉验证方法汇总
深度学习中常见的九种交叉验证方法汇总原创 2024-05-15 20:55:16 · 2369 阅读 · 0 评论 -
Broad Learning System (BLS) 宽度学习系统
宽度学习系统在 RVFLNN 基础上做出了改进。首先,宽度学习可以利用别的模型提取到的特征来训练,即可以和别的机器学习算法灵活地结合。其次,宽度学习中加入了增量学习算法,它允许在网络结构中加入新的结点时,以很小的计算开销来更新网络权重。宽度学习(Broad Learning System, BLS)是一种有效的神经网络学习框架,旨在通过扩展网络的宽度而不是深度来提高学习能力和效率。与传统的深度学习相比,宽度学习通过堆叠多层特征节点和增强节点来构建网络,从而避免了深度学习中常见的梯度消失和复杂的训练过程。原创 2024-05-15 20:27:01 · 642 阅读 · 0 评论 -
GAN及其衍生网络中生成器和判别器常见的十大激活函数(2024最新整理)
激活函数(activation function)的作用是对网络提取到的特征信息进行非线性映射,提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。Sigmoid 是一种常见的非线性激活函数,输入实数值并将其压缩到 (0,1) 范围内,适用于。其缺点是当输入值较大和较小时,梯度会接近于0从而问题,函数的输出也,指数也更加耗时。原创 2024-03-17 21:23:27 · 1287 阅读 · 0 评论 -
【激活函数】Softmax 和 Maxout 激活函数
已经有前辈撰写关于讲解这两个激活函数并且通俗易懂的文章了,本人在此就不赘述,链接奉上,内容值得细细品读。原创 2024-01-10 11:02:25 · 471 阅读 · 0 评论 -
【激活函数】PReLU 激活函数
PReLU(Parametric Rectified Linear Unit)激活函数是ReLU(Rectified Linear Unit)激活函数的一种改进。它是由 He et al. 在 2015 年提出的,旨在解决ReLU激活函数的一些局限性。原创 2024-01-06 16:37:19 · 1834 阅读 · 0 评论 -
【激活函数】SELU 激活函数
SELU (Scaled Exponential Linear Unit) SELU是对ELU激活函数的改进,通过引入自动标准化机制,使得神经网络的隐藏层在训练过程中可以自动地保持输出的均值和方差接近于1。原创 2024-01-06 12:45:10 · 2711 阅读 · 0 评论 -
【激活函数】GELU 激活函数
GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数,相较于 ReLU 等激活函数,GELU 更加平滑,有助于提高训练过程的收敛速度和性能。原创 2024-01-05 14:23:27 · 2315 阅读 · 0 评论 -
【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数(2024最新整理)
激活函数(activation function)的作用是对网络提取到的特征信息进行非线性映射,提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。原创 2024-01-05 13:57:06 · 1315 阅读 · 0 评论 -
【损失函数】深度学习回归任务中你必须了解的三种损失函数,绝对误差损失(L1 Loss、MAE)均方误差损失(L2 Loss、MSE)以及平滑L1损失(Huber Loss)(2024最新整理)
是预测值和真实值之差的绝对值的总和。其中,是样本数量,是第个样本的真实值,是第个样本的预测值。原创 2024-01-04 11:32:08 · 8685 阅读 · 0 评论 -
【损失函数】Hinge Loss 合页损失
Hinge Loss(合页损失)通常用于支持向量机(Support Vector Machine,SVM)等模型中,特别是在二分类问题中。它的目标是使正确类别的分数与错误类别的最高分之间的差异达到一个固定的边界,从而促使模型学会产生更大的间隔。原创 2024-01-04 11:31:13 · 3675 阅读 · 1 评论 -
【损失函数】Cross Entropy Loss 交叉熵损失
对于分类问题,最常用的损失函数是交叉熵损失函数 Cross Entropy Loss。它用于测量两个概率分布之间的差异,通常用于评估分类模型的性能。原创 2024-01-03 20:47:34 · 646 阅读 · 0 评论 -
【损失函数】Quantile Loss 分位数损失
Quantile Loss(分位数损失)是用于回归问题的一种损失函数,它允许我们对不同分位数的预测误差赋予不同的权重。这对于处理不同置信水平的预测非常有用,例如在风险管理等领域。当我们需要对区间预测而不单是点预测时分位数损失函数可以发挥很大作用。原创 2024-01-03 20:31:25 · 4345 阅读 · 0 评论 -
【损失函数】SmoothL1Loss 平滑L1损失函数
SmoothL1Loss 平滑L1损失函数 是 PyTorch 中的一个损失函数,通常用于回归问题。它是 L1 损失和 L2 损失的结合,旨在减少对异常值的敏感性。原创 2023-12-28 16:15:31 · 2374 阅读 · 2 评论 -
【深度学习】各领域常用的损失函数汇总(2024最新版)
以下是一些常用的损失函数,可根据不同的应用场景进行选择和组合:适用于回归任务,L1 损失计算预测值与真实值之间差的绝对值,对异常值不那么敏感。其中,是样本数量,是第个样本的真实值,是第个样本的预测值。更适合处理异常值,因为它不会像 L2 损失那样对较大的误差赋予过高的惩罚。原创 2023-12-28 16:09:43 · 2347 阅读 · 0 评论 -
【实验练习】基于自注意力机制Vision Transformer模型实现人脸朝向识别 (Python实现) 内容原创
基于自注意力机制Vision Transformer模型实现人脸朝向识别原创 2023-06-06 12:07:01 · 1434 阅读 · 0 评论 -
【实验练习】基于BP神经网络的语音特征信号分类(Python实现) 内容原创
基于BP神经网络的语音特征信号分类原创 2023-06-05 21:23:23 · 367 阅读 · 1 评论 -
简单理解Transformer注意力机制
简单理解Transformer注意力机制原创 2023-05-06 11:53:21 · 743 阅读 · 0 评论 -
【论文笔记】A classification model for detection of ductal carcinoma in situ by Fourier transform infrared
在本研究中,我们提出了一种基于深度结构化语义模型(DSSM)的光谱分类模型,并成功地将其应用于傅里叶变换红外(FT-IR)光谱分析,用于导管原位癌(DCIS)的检测。与传统的深度学习模型相比,我们根据光谱是否来自同一类别,将光谱数据分为正对和负对。根据光谱对的光谱相似性提取特征,构建了DSSM结构。这种新的构造模型增加了用于模型训练的数据量,并降低了光谱数据的维数。首先,对FT-IR光谱进行配对。如果光谱对来自同一类别,则被标记为正对;如果光谱对来自不同的类别,则被标记为负对。原创 2023-04-26 16:54:09 · 184 阅读 · 1 评论 -
【Transformer&CNN&TiDE】从CNN到ViT,再从ViT到TiDE,回顾近十年顶刊和会议发表的关于Attention自注意力、Conv卷积机制以及最新诞生的TiDE模型的发展历程
从CNN到ViT,再从ViT到TiDE,回顾近十年顶刊和会议发表的关于Attention自注意力、Conv卷积机制以及最新诞生的TiDE模型的发展历程原创 2023-04-23 13:18:15 · 3226 阅读 · 2 评论 -
python 理解BN、LN、IN、GN归一化、分析torch.nn.LayerNorm()和torch.var()工作原理
最近在学习Vit(Vision Transformer)模型,在构建自注意力层(Attention)和前馈网络层(MLP)时,用到了torch.nn.LayerNorm(dim),也就是LN归一化,与常见卷积神经网络(CNN)所使用的BN归一化略有不同。原创 2023-04-15 15:17:41 · 3468 阅读 · 3 评论 -
【深度学习】端到端的“即插即用“卷积模块以替代传统Conv层
文章参考:大盘点 | 十大即插即用的涨点神器! (360doc.com)CompConv:一种用于高效特征学习的紧凑型卷积模块 - 知乎 (zhihu.com) 紧凑型深度卷积神经网络在图像识别中的应用 (ceaj.org)原创 2023-04-12 18:53:27 · 1341 阅读 · 0 评论 -
【深度学习】Transformer/VitNet/Conformer/DSSM模型结构解析
【深度学习】Transformer/VitNet/Conformer/DSSM模型结构解析原创 2023-04-08 13:41:16 · 646 阅读 · 0 评论 -
【深度学习】Inception模型结构解析,关键词:Inception-v1、v2、v3、v4、Inception-ResNet-v1、Inception-ResNet-v2
【深度学习】Inception模型结构解析,关键词:Inception-v1、v2、v3、v4、Inception-ResNet-v1、Inception-ResNet-v2原创 2023-03-29 14:30:18 · 9166 阅读 · 1 评论