- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 混合精度训练
混合精度训练（Mixed Precision Training）是一种通过结合使用不同精度的浮点数（如半精度FP16和单精度FP32）来加速深度学习模型训练并减少显存占用的技术。，结合现代硬件（如Tensor Core）的加速能力，已成为训练大规模模型的标配技术。实际应用中，开发者只需通过框架API（如PyTorch AMP）简单启用，即可获得显著收益。混合精度通过在关键环节保留FP32精度，同时在计算密集型步骤使用FP16，兼顾效率与稳定性。，在几乎不损失模型精度的情况下显著提升训练速度和降低显存消耗。
2025-05-26 10:50:39
572
原创 大模型微调训练-分布式训练的底层原理
实际应用中需结合硬件特性（如NVLink）和算法优化（如混合精度、梯度压缩）最大化训练吞吐。现代框架（PyTorch DDP、DeepSpeed）已封装底层细节，开发者只需关注任务拆分策略和资源配置。，以加速训练并支持更大模型。分布式训练的底层原理是通过。分布式训练的底层原理是。
2025-05-23 16:24:07
679
原创 强化学习（Reinforcement Learning, RL）的分类
强化学习（Reinforcement Learning, RL）的类型可以从多个维度进行分类，主要包括和等。
2025-05-10 23:55:46
966
1
原创 SFT（Supervised Fine-Tuning）和FFT（Full Fine-Tuning）的区别
SFT（Supervised Fine-Tuning，监督微调）和FFT（Full Fine-Tuning，全参数微调）是大模型微调的两种常见方法，它们在参数更新范围、计算成本、适用场景等方面存在显著差异。output。
2025-04-18 09:45:46
533
原创 Dify与扣子智能体系统：AI应用开发平台深度对比与使用指南
Dify是一款开源的大语言模型(LLM)应用开发平台，它融合了后端即服务(Backend as Service)和LLMOps的理念，使开发者可以快速搭建生产级的生成式AI应用[0Dify的核心理念是通过可声明式的YAML文件定义AI应用的各个方面，包括Prompt、上下文和插件等[4Dify一词源自Define + Modify，意指定义并且持续改进你的AI应用，它是为你而做的(Do it for you)[33。
2025-04-16 11:53:46
1589
原创 LoRA微调时，低秩矩阵维度(r)和缩放系数(alpha)选择实践
可以在保持高效训练的同时最大化模型性能。实际应用中，建议基于任务需求进行少量实验快速确定最佳组合。，直接影响模型性能和训练效率。在LoRA（Low-Rank Adaptation）微调中，
2025-04-15 17:35:59
743
原创 Llama-2-7B模型lora微调实战
prompt = f"请为以下文章生成摘要：\ndef generate_summary(text) : prompt = f"请为以下文章生成摘要：\n {
2025-04-13 19:13:46
332
原创 大模型微调训练技术全面解析
大模型微调训练使用的技术主要包括全参数微调和参数高效微调（PEFT）两大类。[34] 大模型微调技术——P-Tuning及P-Tuning v2总结原创 - CSDN博客. https://blog.csdn.net/qq_41835287/article/details/131935478.[37] 【AIGC】俗解读大模型微调(Fine Tuning)，包括全量微调和轻量化微调. https://blog.csdn.net/Code_LT/article/details/139123203.
2025-04-11 20:11:23
895
原创 SFT微调过程
创建数据加载器以高效地加载和预处理数据。使用模型的tokenizer对文本数据进行编码，将其转换为模型可以理解的格式。根据任务选择适当的损失函数（如交叉熵损失）和优化器（如Adam），并设置学习率等参数。这些设置将影响模型的训练效果和速度。创建数据加载器：创建数据加载器以高效地加载和预处理数据。这通常涉及将数据分成批次、对文本进行编码/解码等。数据增强：根据需要对数据进行增强，以提高模型的泛化能力。
2025-04-09 14:50:19
1064
原创 技术宅男的工作沟通
分析一下这个问题，涉及到人员至少有中台的强哥，算法的轩轩，磊哥，洁新，产品的懿泓，第三方的旭哥。看到文波想要再继续拉其他人进行信息对齐，我立马让他拉上我一起进行电话会议，将磊哥，强哥，洁新，轩轩，懿泓，旭哥都拉到会上来，大家同时进行沟通，及时的解决问题，定下方案后及时修改代码。在这个过程中，将当前急需解决的问题和后期需要优化的问题分开处理，同时大家都在一起进行信息同步，也不会存在需要反复，多次的信息拉齐的情况。沟通在实际工作中是非常重要的，特别是多方参与时，更要注意沟通的透明度和沟通效率。
2024-03-24 01:20:48
437
1
原创 系统架构思维导图
下载思维导图连接：https://download.csdn.net/download/jack_wgj/11803211?spm=1001.2014.3001.5503
2023-05-14 11:28:35
160
原创 win10安装Manjaro双系统
#### 1.关于镜像下载Manjaro镜像下载虽然有中科大，清华的镜像，但是我真的没找到，链接过去就是好多文件夹、文件，就是没找到镜像资源，最后还是在官网下载的。#### 2.下载后制作启动U盘，我是用的 [Rufus](http://rufus.ie/zh/ "Rufus")。#### 3.在Windows上为manjaro系统分配磁盘空间我的D盘磁盘空间被占用了很多，当时机器由于被安装了TX御点，无法使用U盘转移存储的资料，所以最后选择了使用ALI云盘将D盘中不太常用的资料软件等上传到云端，大
2021-10-17 11:42:40
1095
原创 Win10_Dockertoolbox_安装的docker引擎如何设置国内镜像
win10安装docker有两种方式，一种是win10专业版，可以使用Docker for Windows 安装及设置国内镜像比较简单且网上相关文档很多，这里就不赘述了。另一种是非win10专业版，使用DockerToolBox 此工具本身的安装和使用百度也有很多资料，但有一个坑可以提醒一下，使用DockerToolBox在第一次启动DockerQuickStart时要从github网站下载一个b...
2020-03-22 16:49:39
1151
原创 Spring源码解析之IoC容器
Spring源码解析之IoC容器大家好，几年前笔者写过一篇关于Spring的IoC容器相关文章，出门左转还可以找到它。工作几年，几乎每天都离不开Spring的框架，从最开始的SSH到现在的SSM,从以前的XML配置文件到现在的注解，Spring的使用也越来越方便，但同时也会让我们忘了它优雅的背后是许多前辈和同行的努力。也不算立个Flag,准备有时间就写写Spring源码的解析，可能会涉及架构，设...
2019-03-22 21:56:50
262
原创 Spring之IoC容器
spring是一个极为庞大和丰富的框架，笔者在此并不想从零开始的去讲解她。关于spring的基础概念等希望读者自行百度。文中会涉及到很多spring的源代码，我并不想在此处大量copy出来，有兴趣的读者可以自己查看学习。再一点，阅读本文之前，读者若有一些spring的开发经验或许能更好的理解本文及spring原理。本文是在阅读了前辈大牛《SPRING技术内幕：深入解析SPRING架构与设计原理》之
2013-09-14 22:38:18
940
UML建模（统一建模语言学习的PDF版本）
2011-07-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人