- 博客(2)
- 收藏
- 关注
RSS订阅原创 llamafactory训练，合并，以及mindie推理
修改yaml文件的路径，根据自己的模型以及数据修改，我是以llama3_lora_sft.yaml为例，修改以下几处地方。二、进入/home/lly/LLaMA-Factory，切换到llamafactory_test的conda环境下。一、进入/home/lly/LLaMA-Factory/examples/merge_lora目录底下。注：llamafactory为conda环境，根据自己的conda环境进行修改。三、利用T65的镜像推理合并后的模型。创建自己的conda环境。运行如下脚本，合并模型。
2025-04-16 15:51:44
559
原创 昇腾910A，创建8个容器，并推理应用
1、输入npu-smi info查看8张卡的状态 2、目前来看，第0张卡上有一个mindie进程1、8张卡的每个容器名称都需要不一致，为了统一，从后缀01到08总共8个容器2、8张卡每个容器挂的卡也应该不一致，为了统一，从后缀0到7对应8个容器的卡3、/home/aicc是挂载进去的路径需要修改对应的三个端口，由于申请的端口是从2025开始到9025，所以第一个容器的端口号是2025，以此类推，第8个容器对应的端口就是9025注：下面的三个端口都需要改，8个容器各对应端口，每个容器同名称对应的端口不
2025-03-28 11:05:42
729
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人