- 博客(2)
- 收藏
- 关注
RSS订阅原创 使用LLamafactory进行大模型微调过程以及使用FSDP训练模型
如果使用多卡进行训练的话，需要使用FSDP（分布式训练方法有好几种，我是有四个16g显存的卡，不适用全切片fsdp方式训练的话会爆显存，多卡训练实际上是把模型部署到每一个卡上进行训练，16g显存显然不够，所以需要使用全切片fsdp的方式来进行训练）。同样也是注意修改这个：CUDA_VISIBLE_DEVICES=0,1,2,3。主要修改num_processes: 4，有几个显卡就修改为几。主要修改的地方有三个模型名称，数据集，以及训练轮数。
2025-10-09 14:59:03
418
原创 Java学习日常
求字符串里面那个字符出现的次数最多（小写或大写）。 思路： （1）可以先将字符串转成数组， （2）然后创建一个大小为26的int型数组，保存没个字符出现的次数 （3）for循环遍历数组，用 【 字符 - 97】 确定字符在数组中的位置，并使其个数加一 （4）再for循环遍历找到出现次数最多的字符 public class StringTest { public static void main(String[] args) { String str = "aabbbcc
2022-04-28 15:55:29
779
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人