深度学习
文章平均质量分 75
深度学习
Cel-
红叶经霜而赤,腊梅沐雪而馨!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
生成模型概念和应用领域
生成模型(Generative Models)是机器学习和人工智能领域的重要研究方向,旨在学习数据的分布并生成新的样本。近年来,生成模型在图像生成、文本生成、语音合成、推荐系统等领域取得了显著进展。从自回归模型到生成对抗网络,再到扩散模型,生成模型的技术不断演进,生成样本的质量和多样性显著提升。未来,生成模型将在多模态生成、科学计算、伦理安全等方面继续取得突破,为人工智能的发展注入新的动力。生成模型的目标是学习数据的概率分布 ( P(X) ),并能够从中采样生成新的数据样本。原创 2025-02-10 15:04:28 · 1161 阅读 · 0 评论 -
RuntimeError: Input type (torch.cuda.HalfTensor) and weight type (torch.cuda.FloatTensor) should be
(16位浮点数,即float16(32位浮点数,即float32`)。要解决这个问题,你需要确保输入张量和权重张量具有相同的数据类型。原创 2025-01-09 21:26:02 · 1077 阅读 · 0 评论 -
浅谈Beam Search
是一种启发式搜索算法,常用于序列生成任务(如机器翻译、文本生成、语音识别等)。它在每一步生成时,保留当前最优的 ( k ) 个候选序列(( k ) 为 beam width),而不是像贪心搜索那样只保留一个最优解。通过这种方式,它能在一定程度上避免局部最优,同时减少计算量。Beam Search 是一种高效的序列生成算法,通过保留多个候选序列,能够在保证生成质量的同时减少计算量。以上代码展示了如何使用 PyTorch 实现一个简单的 Beam Search。原创 2025-01-02 22:31:37 · 941 阅读 · 0 评论 -
网络模型中fuse()函数作用以及使用前后对比
在深度学习网络中,fuse()函数通常用于将多个层或操作融合在一起,以优化推理速度或简化模型结构。这种操作在推理阶段特别有用,因为它可以减少计算量,提高推理效率。以下是一个基于 PyTorch 的示例,展示了如何将卷积层和批量归一化层进行融合,并对比使用融合和不使用融合的效果。原创 2024-12-27 11:12:13 · 953 阅读 · 0 评论 -
trunc_normal_ 函数
库中用于初始化张量的一种方法。这个函数将张量的元素用截断的正态分布(高斯分布)值进行填充。截断的正态分布是指在给定的均值和标准差的范围内生成的随机数,但限制在一定范围内,以避免生成过大或过小的值。这个函数通常用于初始化神经网络中的权重,以确保权重值在合理的范围内,从而帮助模型更快地收敛。下面是一个示例,展示如何使用。原创 2024-12-26 15:35:51 · 609 阅读 · 0 评论 -
浅谈nn.Identity()
是 PyTorch 中的一个模块,它的作用是直接返回输入值而不作任何修改。这个模块通常用作占位符,在不需要对输入进行任何操作时使用。的使用场景通常是在需要保持网络结构不变,但希望有条件地跳过某些层时。原创 2024-12-26 10:44:48 · 744 阅读 · 0 评论 -
@register_model 装饰器
使用 装饰器来注册模型类有以下几个优势:自动化注册:易于扩展:动态实例化:代码组织清晰:减少重复代码:以下是一个使用 装饰器注册模型的完整示例:示例说明定义模型注册装饰器:定义模型类并注册:动态创建模型实例:通过这种方式,可以实现模型的自动注册和动态实例化,提高代码的灵活性和可维护性。原创 2024-12-25 21:52:34 · 1180 阅读 · 0 评论 -
Squeeze-and-Excitation (SE) 模块
Squeeze-and-Excitation (SE) 模块是一种神经网络架构中的注意力机制,旨在通过学习每个通道的重要性来增强网络的表示能力。这种机制最早由 Jie Hu 等人在 2017 年的论文《Squeeze-and-Excitation Networks》中提出。SE 模块通过全局信息的“挤压”(squeeze)和每个通道的“激发”(excitation)来重新校准特征的通道权重。原创 2024-12-25 21:28:19 · 1858 阅读 · 0 评论 -
浅谈归一化
归一化是深度学习中加速训练、提高模型稳定性和性能的重要技术。不同的归一化方法有各自的适用场景和优劣,选择合适的归一化方法对模型性能的提升至关重要。通过理解和灵活应用这些技术,可以更好地优化深度学习模型。原创 2024-12-25 17:01:23 · 827 阅读 · 0 评论 -
浅谈1×1卷积层
1x1卷积层是一种特殊的卷积层,其卷积核大小为1x1。尽管看起来很简单,但1x1卷积层在神经网络,尤其是卷积神经网络(CNN)中,具有多种重要作用:改变通道数:增加非线性:信息整合:计算效率:参数量减少:卷积核大小:计算复杂度:空间信息捕捉:高效的计算和参数量:灵活的通道数调整:1x1卷积层广泛应用于各种深度学习模型中,包括但不限于:下面是一个使用1x1卷积层的简单示例,演示其在改变通道数方面的作用:代码解释定义1x1卷积层模块:创建简单的神经网络:创建网络实例并打印模型结构:示例输入:前向传播:通原创 2024-12-25 16:58:33 · 885 阅读 · 0 评论 -
SiLU函数
SiLU (Sigmoid-Weighted Linear Unit) 函数,也被称为 Swish 函数,是一种激活函数。它的数学定义如下:其中,原创 2024-12-25 16:42:08 · 5792 阅读 · 0 评论 -
目标检测-小目标检测方法
每种方法和算法都有其优点和挑战,适当的选择和组合这些方法可以有效提升小目标的检测性能。根据具体的应用场景和计算资源需求,可以选择最适合的策略来优化模型的检测能力。原创 2024-09-06 16:26:01 · 3093 阅读 · 0 评论 -
目标检测-RT-DETR
模块实现了多头自注意力机制,它通过并行计算多个注意力头来捕获输入序列中不同位置和不同层次的依赖关系。每个头可以学习不同的注意力模式,最终将这些模式结合起来,生成更加丰富的特征表示。这一机制在 Transformer 中的应用,使模型具备了捕捉长距离依赖关系和并行处理的能力,大大提高了计算效率。原创 2024-09-06 16:04:15 · 6800 阅读 · 1 评论 -
目标检测-YOLOv10
是 YOLO 系列的最新版本,进一步推动了目标检测技术的发展。它在前代(YOLOv9)的基础上进行了更多优化和改进,使得模型在复杂场景、实时性以及精度方面取得了更高的突破。YOLOv10 将高效的架构设计与新颖的技术结合,适应各种应用场景,包括自动驾驶、智能监控、机器人视觉等。原创 2024-09-06 15:40:00 · 1785 阅读 · 0 评论 -
目标检测-YOLOv7
YOLOv7 重构了检测头(Head),相比 YOLOv6 使用的 YOLOHead 模块,YOLOv7 引入了更加轻量化的架构,并通过深度可分离卷积(Depthwise Separable Convolutions)进一步减少了计算开销,同时保证检测精度。在 YOLOv6 以及早期的 YOLO 系列模型中,标签分配是基于固定的 IoU 阈值进行的,而 YOLOv7 通过动态调整标签分配策略,能够更有效地匹配目标与预测框,提高检测效果,尤其对小目标的检测性能有所提升。YOLOv7 采用了。原创 2024-09-06 15:03:51 · 1899 阅读 · 0 评论 -
目标检测-YOLOv6
YOLOv6 的设计目标是在提高模型检测精度的同时,进一步优化速度和效率,特别是在推理速度和部署便捷性方面。它采用了更先进的网络架构和优化技巧,在保持高性能的同时,极大地提升了推理速度。YOLOv6 使用了锚点自由检测机制,这意味着模型不再依赖于预定义的锚点框,能够自动适应不同的目标大小,简化了训练和推理过程,并且提升了小目标的检测能力。YOLOv6 在推理速度上优于 YOLOv5,尤其是在移动设备和嵌入式设备上,得益于其轻量化的设计和高效的推理优化,使其更加适合实时应用场景。YOLOv6 引入了新的。原创 2024-09-06 14:46:48 · 1216 阅读 · 0 评论 -
目标检测-YOLOv5
YOLOv5 是 YOLO 系列的第五个版本,由团队发布。虽然 YOLOv5 并非 Joseph Redmon 原团队发布,但它在 YOLOv4 的基础上进行了重要的优化和改进,成为了深度学习目标检测领域中的热门模型之一。YOLOv5 的优势不仅体现在其性能上,还包括其简洁易用、部署便捷的特点。相较于 YOLOv4,YOLOv5 对于代码框架的重构、推理速度的提升,以及模型的轻量化等方面都有显著改进。原创 2024-09-06 10:23:38 · 5014 阅读 · 1 评论 -
目标检测-YOLOv4
YOLOv4 是 YOLO 系列的第四个版本,继承了 YOLOv3 的高效性,并通过大量优化和改进,在目标检测任务中实现了更高的精度和速度。相比 YOLOv3,YOLOv4 在框架设计、特征提取、训练策略等方面进行了全面升级。它在保持实时检测的同时,显著提升了检测性能,尤其在复杂场景中的表现尤为出色。原创 2024-09-06 10:05:08 · 1234 阅读 · 0 评论 -
目标检测-YOLOv3
YOLOv3 (You Only Look Once, Version 3) 是 YOLO 系列目标检测模型的第三个版本,相较于 YOLOv2 有了显著的改进和增强,尤其在检测速度和精度上表现优异。YOLOv3 的设计目标是在保持高速的前提下提升检测的准确性和稳定性。下面是对 YOLOv3 改进和优势的介绍,以及 YOLOv3 核心部分的代码展示。原创 2024-09-06 09:37:01 · 974 阅读 · 0 评论 -
目标检测-YOLOv2
YOLOv2(You Only Look Once version 2)是一种用于目标检测的深度学习模型,由Joseph Redmon等人于2016年提出,并详细论述在其论文《YOLO9000: Better, Faster, Stronger》中。YOLOv2在保持高速检测的同时,显著提升了检测的精度和泛化能力,成为实时目标检测领域的重要算法之一。原创 2024-09-06 09:14:39 · 1474 阅读 · 0 评论 -
目标检测-YOLOv1
YOLOv1(You Only Look Once version 1)是一种用于目标检测的深度学习算法,由Joseph Redmon等人于2016年提出。它基于单个卷积神经网络,将目标检测任务转化为一个回归问题,通过在图像上划分网格并预测每个网格中是否包含目标以及目标的位置和类别来实现目标检测。快速的检测速度:相比于传统的目标检测算法,YOLOv1具有更快的检测速度,能够实时处理图像。端到端的训练和预测:从输入图像到输出检测结果,YOLOv1能够在一个网络中完成,无需额外的后处理步骤。原创 2024-09-06 09:03:45 · 1413 阅读 · 0 评论
分享