- 博客(10)
- 收藏
- 关注
RSS订阅原创 Torch 实现多头注意力机制及细节理解
摘要：本文详细解析了多头注意力机制中的QKV模型及其实现。通过Query、Key、Value三个矩阵的动态计算，模型能够有效捕捉输入序列的依赖关系。重点阐述了多头注意力并行计算、特征多样性和可扩展性三大优势，并提供了PyTorch实现代码。实现过程包括：词向量转换、线性层映射QKV、分头计算注意力得分、softmax归一化及最终线性变换。特别解释了矩阵形状变化规律和点积注意力的计算原理，为理解Transformer架构的核心机制提供了实践指导。
2025-08-13 23:42:13
1220
原创 YOLOv1至YOLOv4部分优化过程
YOLO系列目标检测模型发展综述 YOLO_V1将目标检测作为回归问题，采用GoogleNet架构，使用NMS处理预测框，输出7×7×30特征图。YOLO_V2改进包括引入DarkNet-19骨干网络、BatchNorm、锚点框机制和Dimension Clusters初始化方法。YOLO_V3通过FPN结构实现深浅层特征融合，采用三尺度检测头提升小目标检测能力。YOLO_V4整合新技术，包括CutMix/Mosaic数据增强、DropBlock正则化、标签平滑和Mish激活函数，显著提升模型性能。各版本通
2025-08-07 19:38:57
878
原创 Wandb与TensorBoard实战指南
本文全面介绍了PyTorch训练可视化工具Weights&Biases(WandB)和TensorBoard的配置与使用方法。详细对比了两款工具的特性：WandB适合云端协作和超参数优化，提供实时更新；TensorBoard则更适用于本地化部署和数据敏感场景。文章提供了完整的代码实现，涵盖基础监控、模型可视化、高级功能等核心操作，并分享了多实验对比、检查点保存等实战技巧。最后针对常见问题给出解决方案，帮助开发者根据项目需求选择合适工具，提升深度学习工作效率和模型性能。
2025-07-28 22:23:15
1258
原创 深度学习过程中的图片数据加载问题
本文介绍了深度学习中的关键环节——数据加载，重点分析了PyTorch框架下的三种典型图像数据集加载场景：标准分类数据集、无标签数据集和YOLO格式数据集的处理方法。详细讲解了如何使用ImageFolder、自定义Dataset类以及DataLoader优化技巧，并提供了数据增强、边界框加载、可视化检查等实用方案。针对类别不平衡问题，介绍了WeightedRandomSampler的解决方案。文章还涵盖了路径处理、多线程加载和GPU内存优化等实战技巧，为不同层次的开发者提供了从基础到进阶的数据加载实践指南。
2025-07-28 22:03:21
795
原创 深度学习中常见激活函数的简单可视化比较
本文通过直观方法比较了Sigmoid和Tanh激活函数的特性。实验采用简单全连接模型对坐标点进行训练，利用Matplotlib可视化拟合效果。Sigmoid函数将输入映射到(0,1)区间，但存在梯度消失（极端输入时梯度趋近0）、信息丢失（大输入差异被压缩）和计算成本高等问题。Tanh函数输出范围为(-1,1)，虽部分缓解梯度消失，但在深层网络中仍存在该问题，且计算成本仍较高。两种函数在异常点处理时都表现出明显的梯度减小现象。
2025-07-15 19:56:50
362
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人