HackZ04-CSDN博客

原创【DEBUG】FSDP+QDoRA微调Llama-3.2时反向传播阶段梯度全为0、Loss不变的问题

本文记录了基于FSDP+QDoRA微调Llama-3.2-1B时，训练Loss始终不变、反向传播梯度全为0的问题。经分析发现，根因是Llama-3.2启用tie_word_embeddings=true后，在init_empty_weights()与load_and_quantize流程中，lm_head与embed_tokens原本共享的权重绑定被破坏，导致Loss计算图与LoRA可训练参数断开。

2026-03-25 10:36:46 321

原创【深度学习&计算机视觉】DeepSORT、BoTSORT、ByteTrack、StrongSORT多目标追踪，参数设置、模型对比，学习必看——基于MOT16数据集

本文基于DeepSORT、BoTSORT、ByteTrack和StrongSORT对MOT16数据集进行多目标追踪，讲解模型原理，并设置超参数对比实验和多模型对比实验，学习必看

2026-01-16 21:14:13 1029 1

原创【深度学习&计算机视觉】YOLO & U-Net实例分割，学习必看，参数设置、模型对比——基于YOLOv8、v11和U-Net、U-Net++的Crack-seg实例分割

本文基于YOLOv8、YOLOv11和U-Net、U-Net++对Crack-seg数据集进行实例分割，讲解模型原理并设置超参数和多模型对比实验，学习必看

2026-01-15 21:00:55 763

原创【深度学习&计算机视觉】YOLO目标检测，学习必看，参数设置、模型对比——基于YOLOv8、v11、v12和RT-DERT的HomeObjects-3K目标检测

本文基于YOLOv8、v11、v12和RT-DERT对HomeObjects-3K进行目标检测，讲解模型原理并设置超参数和多模型对比分析，学习必看

2026-01-14 20:58:06 670

原创【深度学习&计算机视觉】学习必看，参数设置、模型对比，Cifar100多模型图像分类——ResNet、VGG、DenseNet、ViT，附源码

图像分类是计算机视觉领域的基础任务之一，近年来深度学习模型在该任务上取得了显著进展。本文基于 CIFAR-100 数据集，系统实现了 ResNet50、VGG16、DenseNet121 和 Vision Transformer（ViT）四种主流网络架构，并在统一的训练设置下对比其分类性能、参数量及优化策略。通过实验分析不同模型的精度与效率权衡，旨在为小规模图像分类任务中的模型选型提供实践参考。注：文末附有源码CIFAR100数据集有100个类。

2026-01-12 22:55:54 768

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 【DEBUG】FSDP+QDoRA微调Llama-3.2时反向传播阶段梯度全为0、Loss不变的问题

原创 【深度学习&计算机视觉】DeepSORT、BoTSORT、ByteTrack、StrongSORT多目标追踪，参数设置、模型对比，学习必看——基于MOT16数据集

原创 【深度学习&计算机视觉】YOLO & U-Net实例分割，学习必看，参数设置、模型对比——基于YOLOv8、v11和U-Net、U-Net++的Crack-seg实例分割

原创 【深度学习&计算机视觉】YOLO目标检测，学习必看，参数设置、模型对比——基于YOLOv8、v11、v12和RT-DERT的HomeObjects-3K目标检测

原创 【深度学习&计算机视觉】学习必看，参数设置、模型对比，Cifar100多模型图像分类——ResNet、VGG、DenseNet、ViT，附源码

空空如也

空空如也

原创【DEBUG】FSDP+QDoRA微调Llama-3.2时反向传播阶段梯度全为0、Loss不变的问题

原创【深度学习&计算机视觉】DeepSORT、BoTSORT、ByteTrack、StrongSORT多目标追踪，参数设置、模型对比，学习必看——基于MOT16数据集

原创【深度学习&计算机视觉】YOLO & U-Net实例分割，学习必看，参数设置、模型对比——基于YOLOv8、v11和U-Net、U-Net++的Crack-seg实例分割

原创【深度学习&计算机视觉】YOLO目标检测，学习必看，参数设置、模型对比——基于YOLOv8、v11、v12和RT-DERT的HomeObjects-3K目标检测

原创【深度学习&计算机视觉】学习必看，参数设置、模型对比，Cifar100多模型图像分类——ResNet、VGG、DenseNet、ViT，附源码