- 博客(1894)
- 资源 (16)
- 收藏
- 关注
RSS订阅
原创 预激活恒等映射的详解
预激活恒等映射是残差网络（ResNet）的关键优化技术，通过调整残差单元中激活函数与卷积层的顺序，确保恒等路径的无损传播，提升深层网络的训练稳定性与性能。
2025-06-12 07:38:45
92
原创 直接恒等连接：深度学习的「信息高速公路」
直接恒等连接是深度学习的重大突破，通过构建"输入特征直接叠加网络变换输出"的架构，解决了深层网络训练的根本问题。
2025-06-11 08:02:24
178
原创 投影恒等映射：残差网络的维度适配核心技术
投影恒等映射是ResNet中处理维度不匹配的关键技术，通过1x1卷积调整输入维度使其能与残差输出相加。当输入输出维度（通道数或空间尺寸）不一致时，该技术通过卷积投影匹配维度，而相同维度时直接使用恒等映射。实验表明，仅在需要时使用投影（方案B）效果最优，既避免了零填充的性能损失，又减少了不必要的参数。该技术也广泛应用于DenseNet等网络架构中，是保证深度网络有效训练的重要设计。
2025-06-10 06:45:46
127
原创 恒等映射（Identity Mapping）在深度学习中的核心作用与创新应用
恒等映射是深度学习的革命性设计，通过y=F(x)+x的结构解决了深层网络退化问题。其三种实现形式（直接连接、投影映射、预激活）适应不同场景，具备梯度优化、特征保护等核心价值。恒等映射不仅支撑了ResNet、DenseNet等经典架构，还拓展至蛋白质预测、图像生成等跨领域应用。设计时需遵循"直接连接优先"等原则，未来可能向动态路由、量子计算等方向演进。这一思想已成为构建超深度网络的通用范式，推动了整个AI领域的发展。
2025-06-10 06:45:16
176
原创 ResNet中两种核心残差块进一步分析
BasicBlock与Bottleneck Block是ResNet中两种核心残差块结构，分别针对不同深度和计算需求设计。
2025-06-09 06:09:29
144
原创 ResNet不同层数架构的输入与输出
ResNet不同层数模型（如18/34/50/101/152层）的输入与输出设计遵循统一框架，但深层模型通过增加残差块数量提升特征提取能力。
2025-06-09 06:09:16
99
原创 BasicBlock组件的详解
ResNet中的BasicBlock采用双层3×3卷积结构，通过残差连接解决梯度消失问题。其核心由卷积层、BN和ReLU组成，当输入输出维度不匹配时使用1×1卷积调整。相比Bottleneck结构，BasicBlock计算复杂度更低，适合浅层网络（如ResNet-18/34）。该设计允许梯度直接回传，保留原始特征，在CIFAR-10等任务中表现优异，特别适用于计算资源受限的场景。
2025-06-08 06:39:05
108
原创 ResNet-152：深度残差网络的性能巅峰
ResNet-152作为深度学习的里程碑式架构，通过152层的深度网络结构和创新性的残差学习机制，为计算机视觉领域树立了新的性能标杆。
2025-06-08 06:38:52
104
原创 ResNet-101：高性能计算机视觉的骨干网络
ResNet-101作为计算机视觉领域的标杆性深层模型，通过精心设计的深度分布和特征提取机制，在专业视觉任务中展现出不可替代的价值。
2025-06-07 06:52:25
121
原创 ResNet-50：深度残差网络的工业级标准
ResNet-50作为深度学习时代的里程碑架构，通过其精巧的Bottleneck设计和残差连接机制，成功解决了深度网络的梯度消失问题。
2025-06-07 06:52:13
75
原创 【设计模式】单例模式之懒汉式
摘要：懒汉式单例模式的4种实现方案对比，重点推荐C++11静态局部变量方案。基础版存在线程安全问题；全局加锁版性能低下；双检锁方案需配合atomic保证安全；现代C++（11+）的静态局部变量实现最为简洁安全，自动处理线程安全和内存管理。性能测试显示静态局部变量和双检锁的后续访问性能最优。建议新项目优先采用C++11静态方案，旧环境使用双检锁，注意内存管理和析构问题。C++17的inline变量可简化饿汉式实现，但不影响懒汉式的最佳实践选择。
2025-06-06 08:32:11
355
原创 ResNet-34：平衡深度与性能的经典架构深度解析
ResNet-34在CNN架构中实现了深度与效率的黄金平衡，其创新残差模块设计（21.8M参数）相比ResNet-50减少15%计算量而精度仅降3%。
2025-06-06 08:28:41
134
原创 ResNet-18 深度解析与应用指南
ResNet-18作为轻量级深度残差网络的代表，在计算效率与性能间取得平衡，具有11.7M参数和1.8GFLOPs计算量。
2025-06-06 08:28:00
173
原创 ResNet不同层数架构的深度解析
ResNet家族包含多个不同深度和模块设计的变体，在计算效率与模型性能间取得平衡。浅层网络（如18/34层）采用BasicBlock模块，计算密集但参数效率低；深层网络（50层以上）使用Bottleneck模块，通过通道压缩策略降低计算量。
2025-06-05 09:11:51
399
原创 torch.add 维度处理机制深度解析
torch.add 在残差网络中的维度处理是其核心能力之一，它通过广播机制(broadcasting) 和形状匹配规则实现了灵活的张量加法。
2025-06-04 10:48:04
715
原创 torch.add：PyTorch 张量加法操作深度解析
torch.add 是 PyTorch 中最基础但最重要的数学运算函数之一，在残差网络(ResNet)中扮演着核心角色。
2025-06-04 10:40:15
485
原创 张量广播机制（Broadcasting）深度解析
广播机制是深度学习框架中处理不同形状张量运算的核心技术，它允许在不实际复制数据的前提下，对形状不同的张量执行元素级操作。这一机制在残差网络、注意力机制等现代深度学习架构中扮演着至关重要的角色。
2025-06-04 10:17:35
1070
原创 nn.Conv2d 深度解析
nn.Conv2d 是一个可学习的空间特征提取器，通过对输入数据进行滑动窗口卷积操作，提取局部特征并建立空间相关性模型。
2025-06-04 08:32:56
534
原创 nn.Identity：深度解析神经网络中的恒等映射
在残差网络、模型剪枝、架构搜索等现代深度学习技术中，nn.Identity 扮演着"无形的桥梁"角色，其价值正如数学中的恒等元概念——看似平凡，却是整个系统不可或缺的基础元素。
2025-06-04 08:24:15
859
原创 ResNet（Residual Network，残差网络）介绍
ResNet（残差网络）是何恺明团队2015年提出的深度卷积神经网络架构，通过引入残差学习机制解决了深度网络的梯度消失和退化问题。其核心是将输入信号通过跳跃连接传递至输出端，使网络只需学习残差映射。
2025-06-04 05:32:15
94
原创 深度学习瓶颈层（Bottleneck Layer）深度解析
瓶颈层是深度学习中一种战略性降维设计，通过在网络中引入压缩-扩展结构，显著提升模型效率与表达能力。
2025-06-04 05:31:41
234
原创 深度学习模型中的“层”概念解析
在深度学习模型中，“层”通常是指模型中具有可学习参数或固定运算功能及构建神经网络的基本构建块，它包含可学习参数或固定计算操作，用于数据变换和特征提取。
2025-06-03 06:38:17
141
原创 【论文笔记】ResNet论文的全面解析
ResNet通过残差学习和深度可扩展性，重新定义了卷积神经网络的设计范式。其技术细节（如Bottleneck结构、全局池化）已成为现代深度学习模型的标配。未来，随着何恺明团队在MIT的AI for Science方向探索（如量子计算），ResNet的思想可能进一步渗透到更广泛的科学计算领域。
2025-06-03 06:38:04
116
1
原创 退化现象中训练误差与测试误差增加原因
深度神经网络中，训练和测试误差同时增加的现象主要源于优化困难而非过拟合。深层网络面临梯度衰减、鞍点密度增加、信息传播损失等问题，导致优化过程恶化。实验数据表明，普通深层网络的梯度信号明显弱于浅层网络，而残差连接等技术能有效恢复梯度传播。理论分析揭示，退化现象本质是深度引发的优化动力学问题，而非模型容量限制，这解释了为何增加层数反而损害性能。该发现为改进网络结构提供了理论基础。
2025-06-02 09:24:52
83
原创 深度神经网络训练中的梯度消失与梯度爆炸问题解析
梯度消失（Vanishing Gradient）和梯度爆炸（Exploding Gradient）是深度神经网络训练中的两大核心问题，尤其在深层网络中表现显著。
2025-06-01 03:05:34
99
原创 神经网络退化现象（Degradation Problem）
摘要：退化现象是深度神经网络的关键挑战，表现为网络层数增加时训练误差和测试误差反而增大。研究发现，这是由于梯度传播困难、优化曲面复杂和信息衰减导致的优化问题（非过拟合）。ResNet通过残差连接（F(x)+x）有效解决了这一问题，使千层网络训练成为可能。该现象揭示了网络表达能力与优化难度间的根本矛盾，推动了批归一化、密集连接等技术的发展，彻底改变了深度学习的架构设计范式。
2025-06-01 03:05:17
141
原创 Softmax 函数：从原理到实现
Softmax 通过指数归一化将实数转换为概率分布，其梯度形式简洁（输出概率与标签之差），便于反向传播。实现时需注意数值稳定性，并避免与损失函数中的内置 Softmax 重复计算。
2025-05-31 06:37:25
340
原创 【标注】COCO数据集格式 的详细解析
COCO数据集采用JSON格式管理标注信息，包含images（图像元信息）、annotations（目标标注）和categories（类别定义）三个核心部分。images记录文件路径和尺寸，annotations存储边界框、分割掩码等标注数据，categories定义类别体系。数据集支持目标检测、实例分割、关键点检测等多种任务，通过不同JSON文件区分。
2025-05-31 06:36:20
58
原创 【标注】VOC数据集格式 的完整解析
VOC数据集是经典的目标检测数据集，其核心结构包含JPEGImages（存放图像文件）、Annotations（XML格式标注）和ImageSets（数据集划分）。
2025-05-31 06:36:01
144
原创 【TensoRRT】trtexec.exe详细使用说明
摘要： trtexec.exe是TensorRT官方命令行工具，用于模型转换、性能测试和网络分析。支持ONNX/Caffe/UFF格式转换，可配置动态输入、FP16/INT8精度及显存优化。性能测试包括延迟、吞吐量及逐层分析。典型场景如静态/动态模型转换、基准测试。常见问题包括CUBLAS报错、动态输入失败和DLL缺失，可通过参数调整或环境配置解决。进阶技巧涵盖混合精度优化、性能调优和自定义插件支持。详细参数可通过trtexec --help查看。
2025-05-30 07:50:35
112
原创 【CMake】CMake命令行参数的详细解析
本文总结了CMake常用命令行参数及其应用场景。主要内容包括：1）基础参数如源码/构建目录指定；2）生成器选项，涵盖Unix/Linux/Windows不同构建系统；3）变量参数，包含构建类型、编译器等关键变量设置；4）构建控制参数，如并行编译和清理选项；5）跨平台构建示例，包括VS、Makefiles和Xcode的使用方法；6）高级技巧如编译数据库生成和组合命令。文章通过典型示例展示了如何灵活运用这些参数进行开发调试、生产构建和跨平台编译，帮助开发者高效管理CMake项目。
2025-05-30 07:50:17
126
原创 【CMake】CMake 编译选项的详细指南
本文详细介绍了CMake中编译选项的配置方法，包括全局选项设置、目标级选项配置、C++标准设置、警告级别控制和优化选项等。
2025-05-29 08:04:37
64
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人