自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 从深度学习到自驾VLA

【台大李宏毅:80分钟快速了解大语言模型(LLM) 附学习路线+Langchain+RAG教程】 https://www.bilibili.com/video/BV1FM4m1Z7JZ/?(1)【台湾大学 - 李宏毅 - 机器学习深度学习(2021/2022公开教程汇总)】 https://www.bilibili.com/video/BV13Z4y127BY/?最基础知识的机器学习,本人没有系统学习过,就不推荐课程了,个人认为机器学习粗略过一遍,了解一下即可,因为深度学习已经和机器学习没有什么关系了。

2025-12-18 15:23:08 498 1

原创 大模型微调之 Accelerate集成DeepSpeed 实战

return x。

2025-03-31 11:12:01 1114

原创 Qwen2.5-VL-3B进行多视角对象识别

在message中则应该创建多个type,每个image给入对应路径image_list[x]。对于单个图像无注意事项,对于多图像输入,改函数处理的是纯图像列表;一、Load model。以ipynb格式运行。1.图像处理部分应调用。

2025-03-30 22:48:01 795

原创 大模型学习之Accelerate+Deepspeed

1.介绍每个GPU上都包含模型参数、权重、优化器状态。零冗余优化。2.成本分析每张卡占用资源变少,但是Zero3会使总通讯量增加。3.ZeRO其他参数。

2025-03-24 20:58:53 527

原创 大模型学习之Accelerate使用

accelerate config,可以选择config。在loss里,调用acceleratoe.backward(loss)。也不需要手动放入多设备中,acceleratoe.prepare会自动进行。数据集部分调用accelerator后不需要在改sampler了,直接删除。模型和优化器部分,accelerator自动会对模型进行包装,因此模型包装部分删除。acc竟然>1;这是因为pytorch为了保证数据能够平分到各个卡上,会对数据集进行填充;776个数据无法被64整除。

2025-03-24 19:38:59 883

原创 大模型学习之分布式训练

b站【手把手带你实战HuggingFace Transformers】学习简笔

2025-03-24 10:22:10 307

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除