24G显存 微调 Llama3 图片理解多模态

最新推荐文章于 2024-06-17 23:12:53 发布
最新推荐文章于 2024-06-17 23:12:53 发布
阅读量1.2k 收藏 16
点赞数 14
文章标签： 语言模型 人工智能 自然语言处理 transformer nlp llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42137576/article/details/138618455
版权

XTuner 微调 Llama3 图片理解多模态

本次实验基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。实验平台为InternStudio，实验所用的显存为24G。
在这里插入图片描述

环境、模型、数据准备

配置环境

先来配置相关环境。使用如下指令便可以安装好一个 python=3.10 pytorch=2.1.2+cu121 的基础环境了。

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

接下来安装 XTuner。

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .[all]

最后 clone 本Llama3-Tutorial仓库。

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

模型准备

准备Llama3权重
在微调开始前，首先来准备 Llama3-8B-Instruct 模型权重。在InternStudio内部的share文件夹里边有模型权重。

mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct .

接下来准备 Llava 所需要的 openai/clip-vit-large-patch14-336，权重，即 Visual Encoder 权重。

mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/openai/clip-vit-large-patch14-336 .

准备 Image Projector 权重。

mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/xtuner/llama3-llava-iter_2181.pth .

数据准备
使用过拟合的方式快速实现。可以执行以下代码：

cd ~
git clone https://github.com/InternLM/tutorial -b camp2
python ~/tutorial/xtuner/llava/llava_data/repeat.py \
  -i ~/tutorial/xtuner/llava/llava_data/unique_data.json \
  -o ~/tutorial/xtuner/llava/llava_data/repeated_data.json \
  -n 200

如果自己想构建数据集参考此处。

微调过程

使用如下指令以启动训练：

xtuner train /root/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir /root/model/llama3_llava_pth --deepspeed deepspeed_zero2_offload

训练过程所需显存约为14170左右 MiB，训练所需时间为4小时48分钟。

05/09 11:24:43 - mmengine - INFO - Iter(train) [  10/1200]  lr: 5.1430e-05  eta: 4:48:31  time: 14.5475  data_time: 0.0383  memory: 14172  loss: 1.4195
05/09 11:26:59 - mmengine - INFO - Iter(train) [  20/1200]  lr: 1.0857e-04  eta: 4:36:40  time: 13.5897  data_time: 0.0298  memory: 14170  loss: 0.5519
05/09 11:29:13 - mmengine - INFO - Iter(train) [  30/1200]  lr: 1.6571e-04  eta: 4:30:23  time: 13.4613  data_time: 0.0273  memory: 14170  loss: 0.5242
05/09 11:31:29 - mmengine - INFO - Iter(train) [  40/1200]  lr: 2.0000e-04  eta: 4:26:41  time: 13.5791  data_time: 0.0361  memory: 14170  loss: 0.4559
05/09 11:33:52 - mmengine - INFO - Iter(train) [  50/1200]  lr: 1.9994e-04  eta: 4:26:19  time: 14.3003  data_time: 0.0397  memory: 14169  loss: 0.3685
05/09 11:36:12 - mmengine - INFO - Iter(train) [  60/1200]  lr: 1.9981e-04  eta: 4:24:22  time: 14.0092  data_time: 0.0411  memory: 14172  loss: 0.4149
05/09 11:38:31 - mmengine - INFO - Iter(train) [  70/1200]  lr: 1.9960e-04  eta: 4:22:07  time: 13.9411  data_time: 0.0617  memory: 14170  loss: 0.2311
05/09 11:40:50 - mmengine - INFO - Iter(train) [  80/1200]  lr: 1.9933e-04  eta: 4:19:34  time: 13.8193  data_time: 0.0326  memory: 14170  loss: 0.1266
05/09 11:43:11 - mmengine - INFO - Iter(train) [  90/1200]  lr: 1.9898e-04  eta: 4:17:38  time: 14.0893  data_time: 0.0308  memory: 14170  loss: 0.1708
05/09 11:45:30 - mmengine - INFO - Iter(train) [ 100/1200]  lr: 1.9856e-04  eta: 4:15:22  time: 13.9608  data_time: 0.0320  memory: 14169  loss: 0.1202
05/09 11:47:51 - mmengine - INFO - Iter(train) [ 110/1200]  lr: 1.9807e-04  eta: 4:13:21  time: 14.1097  data_time: 0.0408  memory: 14172  loss: 0.0798
05/09 11:50:13 - mmengine - INFO - Iter(train) [ 120/1200]  lr: 1.9750e-04  eta: 4:11:26  time: 14.2204  data_time: 0.0433  memory: 14170  loss: 0.2290
05/09 11:52:32 - mmengine - INFO - Iter(train) [ 130/1200]  lr: 1.9687e-04  eta: 4:08:59  time: 13.8805  data_time: 0.0462  memory: 14170  loss: 0.1079
05/09 11:54:49 - mmengine - INFO - Iter(train) [ 140/1200]  lr: 1.9616e-04  eta: 4:06:14  time: 13.6250  data_time: 0.0364  memory: 14169  loss: 0.0395
05/09 11:56:58 - mmengine - INFO - Iter(train) [ 150/1200]  lr: 1.9539e-04  eta: 4:02:43  time: 12.9145  data_time: 0.0451  memory: 14168  loss: 0.1383
05/09 11:59:17 - mmengine - INFO - Iter(train) [ 160/1200]  lr: 1.9454e-04  eta: 4:00:29  time: 13.9496  data_time: 0.0380  memory: 14172  loss: 0.1375
05/09 12:01:35 - mmengine - INFO - Iter(train) [ 170/1200]  lr: 1.9363e-04  eta: 3:58:05  time: 13.7808  data_time: 0.0380  memory: 14170  loss: 0.0263
05/09 12:03:51 - mmengine - INFO - Iter(train) [ 180/1200]  lr: 1.9264e-04  eta: 3:55:30  time: 13.5891  data_time: 0.0426  memory: 14170  loss: 0.2581
05/09 12:06:10 - mmengine - INFO - Iter(train) [ 190/1200]  lr: 1.9159e-04  eta: 3:53:16  time: 13.9399  data_time: 0.0498  memory: 14170  loss: 0.1230
05/09 12:08:27 - mmengine - INFO - Iter(train) [ 200/1200]  lr: 1.9048e-04  eta: 3:50:49  time: 13.6799  data_time: 0.0493  memory: 14169  loss: 0.0601
05/09 12:10:48 - mmengine - INFO - Iter(train) [ 210/1200]  lr: 1.8930e-04  eta: 3:48:41  time: 14.0703  data_time: 0.0408  memory: 14172  loss: 0.1540
05/09 12:13:11 - mmengine - INFO - Iter(train) [ 220/1200]  lr: 1.8805e-04  eta: 3:46:41  time: 14.2892  data_time: 0.0405  memory: 14170  loss: 0.1472
05/09 12:15:32 - mmengine - INFO - Iter(train) [ 230/1200]  lr: 1.8674e-04  eta: 3:44:35  time: 14.1704  data_time: 0.0360  memory: 14170  loss: 0.0342
05/09 12:17:53 - mmengine - INFO - Iter(train) [ 240/1200]  lr: 1.8536e-04  eta: 3:42:24  time: 14.1000  data_time: 0.0391  memory: 14170  loss: 0.0607
05/09 12:20:13 - mmengine - INFO - Iter(train) [ 250/1200]  lr: 1.8393e-04  eta: 3:40:06  time: 13.9302  data_time: 0.0382  memory: 14169  loss: 0.0634
05/09 12:22:35 - mmengine - INFO - Iter(train) [ 260/1200]  lr: 1.8243e-04  eta: 3:38:01  time: 14.2698  data_time: 0.0495  memory: 14172  loss: 0.0763
05/09 12:24:57 - mmengine - INFO - Iter(train) [ 270/1200]  lr: 1.8087e-04  eta: 3:35:48  time: 14.1202  data_time: 0.0336  memory: 14170  loss: 0.0760
05/09 12:27:27 - mmengine - INFO - Iter(train) [ 280/1200]  lr: 1.7925e-04  eta: 3:34:07  time: 15.0706  data_time: 0.0356  memory: 14170  loss: 0.0674
05/09 12:29:56 - mmengine - INFO - Iter(train) [ 290/1200]  lr: 1.7758e-04  eta: 3:32:15  time: 14.8495  data_time: 0.0328  memory: 14170  loss: 0.0619
05/09 12:32:17 - mmengine - INFO - Iter(train) [ 300/1200]  lr: 1.7585e-04  eta: 3:29:59  time: 14.1217  data_time: 0.0418  memory: 14169  loss: 0.0213
05/09 12:34:36 - mmengine - INFO - Iter(train) [ 310/1200]  lr: 1.7406e-04  eta: 3:27:36  time: 13.8896  data_time: 0.0345  memory: 14172  loss: 0.0649
05/09 12:37:04 - mmengine - INFO - Iter(train) [ 320/1200]  lr: 1.7222e-04  eta: 3:25:39  time: 14.8585  data_time: 0.0411  memory: 14172  loss: 0.0383
05/09 12:39:27 - mmengine - INFO - Iter(train) [ 330/1200]  lr: 1.7033e-04  eta: 3:23:26  time: 14.2799  data_time: 0.0332  memory: 14170  loss: 0.0712
05/09 12:41:52 - mmengine - INFO - Iter(train) [ 340/1200]  lr: 1.6838e-04  eta: 3:21:18  time: 14.5005  data_time: 0.0291  memory: 14170  loss: 0.0852
05/09 12:44:11 - mmengine - INFO - Iter(train) [ 350/1200]  lr: 1.6639e-04  eta: 3:18:54  time: 13.9209  data_time: 0.0301  memory: 14169  loss: 0.0176
05/09 12:46:40 - mmengine - INFO - Iter(train) [ 360/1200]  lr: 1.6435e-04  eta: 3:16:53  time: 14.8487  data_time: 0.0294  memory: 14172  loss: 0.0503
05/09 12:49:04 - mmengine - INFO - Iter(train) [ 370/1200]  lr: 1.6226e-04  eta: 3:14:39  time: 14.3601  data_time: 0.0289  memory: 14170  loss: 0.0551
05/09 12:51:29 - mmengine - INFO - Iter(train) [ 380/1200]  lr: 1.6012e-04  eta: 3:12:28  time: 14.5297  data_time: 0.0293  memory: 14170  loss: 0.0452
05/09 12:53:50 - mmengine - INFO - Iter(train) [ 390/1200]  lr: 1.5795e-04  eta: 3:10:08  time: 14.1204  data_time: 0.0276  memory: 14169  loss: 0.0306
05/09 12:56:10 - mmengine - INFO - Iter(train) [ 400/1200]  lr: 1.5573e-04  eta: 3:07:46  time: 14.0397  data_time: 0.0302  memory: 14169  loss: 0.0028
05/09 12:58:31 - mmengine - INFO - Iter(train) [ 410/1200]  lr: 1.5346e-04  eta: 3:05:24  time: 14.0401  data_time: 0.0541  memory: 14172  loss: 0.1111
05/09 13:00:56 - mmengine - INFO - Iter(train) [ 420/1200]  lr: 1.5116e-04  eta: 3:03:12  time: 14.5506  data_time: 0.0393  memory: 14170  loss: 0.0110
05/09 13:03:21 - mmengine - INFO - Iter(train) [ 430/1200]  lr: 1.4883e-04  eta: 3:00:58  time: 14.4790  data_time: 0.0370  memory: 14170  loss: 0.8442
05/09 13:05:41 - mmengine - INFO - Iter(train) [ 440/1200]  lr: 1.4645e-04  eta: 2:58:35  time: 13.9606  data_time: 0.0434  memory: 14170  loss: 0.0277
05/09 13:08:01 - mmengine - INFO - Iter(train) [ 450/1200]  lr: 1.4405e-04  eta: 2:56:12  time: 14.0194  data_time: 0.0314  memory: 14168  loss: 0.0015
05/09 13:10:24 - mmengine - INFO - Iter(train) [ 460/1200]  lr: 1.4161e-04  eta: 2:53:55  time: 14.3201  data_time: 0.0301  memory: 14172  loss: 0.0922
05/09 13:12:47 - mmengine - INFO - Iter(train) [ 470/1200]  lr: 1.3914e-04  eta: 2:51:36  time: 14.2605  data_time: 0.0315  memory: 14170  loss: 0.0422
05/09 13:15:10 - mmengine - INFO - Iter(train) [ 480/1200]  lr: 1.3664e-04  eta: 2:49:18  time: 14.2796  data_time: 0.0325  memory: 14170  loss: 0.0175
05/09 13:17:34 - mmengine - INFO - Iter(train) [ 490/1200]  lr: 1.3412e-04  eta: 2:47:02  time: 14.4799  data_time: 0.0321  memory: 14170  loss: 0.0168
05/09 13:20:01 - mmengine - INFO - Iter(train) [ 500/1200]  lr: 1.3157e-04  eta: 2:44:48  time: 14.6202  data_time: 0.0311  memory: 14169  loss: 0.0106
05/09 13:20:01 - mmengine - INFO - after_train_iter in EvaluateChatHook.

在训练好之后，将原始 image projector 和 微调得到的 image projector 都转换为 HuggingFace 格式，为了下面的效果体验做准备。

xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/model/llama3-llava-iter_2181.pth \
  ~/llama3_llava_pth/pretrain_iter_2181_hf

原始 image projector转换成HuggingFace格式，如下图所示：在这里插入图片描述
微调得到的 image projector 转换为 HuggingFace 格式：

xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/llama3_llava_pth/iter_1200.pth \
  ~/llama3_llava_pth/iter_1200_hf

在转换完成后，我们就可以在命令行简单体验一下微调后模型的效果了。

问题1：Describe this image.
问题2：What is the equipment in the image?

Pretrain 模型

export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/pretrain_iter_2181_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

在这里插入图片描述
此时可以看到，Pretrain 模型只会为图片打标签，并不能回答问题。
Finetune 后 模型

export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/iter_1200_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

在这里插入图片描述
经过 Finetune 后，我们可以发现，模型已经可以根据图片回答我们的问题了。本次实验参考Llama3-Tutorial这个教程,有兴趣者可以访问了解一下。

墨心@
关注
  • 14
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
InterLM开源生态：Llama3开箱实测
weixin_44497664的博客
05-05 469
你已经是一只成熟的Llama了，请介绍一下自己：Llama3是一个基于 TensorFlow 的深度学习框架，主要用于自然语言处理（NLP）任务。它提供了一系列的预训练模型和工具，可以帮助开发者快速构建和部署NLP应用程序。Llama3支持多种语言，包括中文、英文、法语等。它也具有良好的可扩展性和可移植性，可以在多种平台上运行。Llama3指令跟随比2代有了很大进步，meta出品值得信赖。
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
06-17
大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3...
火爆 Reddit！多模态 Llama-3 它来了 ！！[全网首发微调教程]
weixin_59191169的博客
05-29 965
随着 XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型，我们也是第一时间与 XTuner 团队取得了联系，并获得了他们已经预训练好的 Image Projector。接下来，我们将带大家基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。2.1 配置环境我们先来配置相关环境。使用如下指令便可以安装好一个 python=3.10 pytorch=2.1.2+cu121 的基础环境了。
一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）
2301_80052071的博客
05-11 1400
—““DeepSpeed将当前时刻，训练模型用不到的参数，缓存到CPU中，等到要用到了，再从CPU挪到GPU。但随之的代价就是，更为频繁的CPU，GPU交互，极大增加了训练推理的时间开销”，这个说法不完全准确。这是因为相比GPU，CPU的内存通常更加充裕，而且CPU处理这些数据时虽然速度较慢，但在训练深度学习模型时，这部分计算通常不是性能瓶颈。相反，ZeRO技术通过分片（sharding）的方式，在多个GPU之间分散存储这些参数和状态，同时可能利用CPU内存来存储那些当前不需要直接参与计算的数据。
简单几步微调Llama 3大模型，小白轻松上手
zhishi0000的博客
05-04 1312
这是面向小白用户的一个超级简单的微调大模型示例，通过这个例子将得到一个速度翻倍，并可以包含自己业务知识数据的微调后llama3模型，可用于本地部署构建私有化的AI智能体。very 的 nice首先请准备好google账号和网络环境，这个示例基于goolge colab的免费算力完成。使用浏览器打开上方链接将点击copy to Drive复制笔记到自己账号下的网盘，点击之后弹出新窗口我们就在这个弹出的新窗口操作，界面都是英文不多解释，跟着操作就好点击第一个运行小箭头，安装基础环境，要稍等片刻的时间。
仅需一块 4GB 的 GPU ，就能运行开源大语言模型：Llama3 70B
机器学习社区
05-26 1724
最强的开源大语言模型 Llama3 已经发布一段时间了，一些盆友资源有限，私信询问是否可以使用 4GB 的 VRAM 在本地运行 Llama3 70B。与 GPT-4 相比，Llama3 的性能如何？Llama3 使用了哪些关键的前沿技术使其变得如此强大？Llama3 的突破是否意味着开源模型已经正式开始超越闭源模型？本文给一个解决方案：在仅有 4GB 显存的单个 GPU 上运行 Llama3 70B，并解释相关问题，
基于llama3-8B-instruct的调用部署以及lora微调
最新发布
Alexa_的博客
06-17 1094
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3在多个行业标准测试中展现了卓越的性能，特别是在对话类应用中，其表现超过了许多现有的开源聊天模型。 在技术方面，Llama-3采用了优化的自回归Transformer架构，这种架构专为处理复杂的文本生成任务设计，...
多模态中文LLaMA&Alpaca大语言模型（VisualCLA）.zip
03-14
标题中的“多模态中文LLaMA&Alpaca大语言模型（VisualCLA）”指的是一种结合了视觉信息和语言理解的大型预训练模型。这类模型在人工智能领域具有重要地位，因为它们能够处理和理解来自不同感官通道的数据，如...
基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型
11-12
Visual-Chinese-LLaMA-Alpaca...在此基础上，使用了中文图文对数据进行了多模态预训练，对齐图像与文本表示，赋予其基本的多模态理解能力；并使用多模态指令数据集精调，增强其对多模态指令的理解、执行和对话能力。
Llama3模型+Windows本地运行软件（下载地址）
05-20
Llama3的衍生模型非常多，整个生态也发展的特别好，所以支持的工具也特别多。根本无需自己去配置，写代码，加载模型和做模型交互。有一大堆现成的“基础设施”可以用！ 今天还是用可视化的GUI软件来运行Llama3，是...
llama3-8B模型8G显存量化部署
qq_42137576的博客
05-06 2497
本次Lama-3的介绍与前两个版本差不多，大量的测试数据和格式化介绍。但Meta特意提到Llama-3使用了掩码和分组查询注意力这两项技术。目前，大模型领域最流行的Transformer架构的核心功能是自我注意力机制，这是一种用于处理序列数据的技术，可对输入序列中的每个元素进行加权聚合，以捕获元素之间的重要关系。但在使用自我注意力机制时，为了确保模型不会跨越文档边界，通常会与掩码技术一起使用。在自我注意力中，掩码被应用于注意力权重矩阵，用于指示哪些位置的信息是有效的，哪些位置应该被忽略。
微调llama 3 — PEFT微调和全量微调
xiaoxiaoyu290的博客
04-24 4612
高效微调llama3
Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】
热门推荐
新缸中之脑
06-28 1万+
大型语言模型 (LLM) 是强大的工具，可以为各种任务和领域生成自然语言文本。最先进的LLM之一是 LLaMA（大型语言模型 Meta AI），这是由 Facebook 的研究部门 Meta AI 开发的一个包含 650 亿个参数的模型要在家运行 LLaMA 模型，你需要一台配备强大 GPU 的计算机，能够处理推理所需的大量数据和计算。在本文中，我们将讨论本地运行 LLaMA 的一些硬件要求。推荐：用快速搭建可编程3D场景。在消费类硬件上运行 LLaMA 模型有多种不同的方法。
五分钟本地部署史上最强开源大模型 Llama3
leyang0910的博客
05-09 1163
其中70B的模型相当于GPT-4的水平，其中8B和70B都可以在个人PC上跑起来，8B就是80亿参数的模型只需要8G+的显存就可以流畅跑起来，70B就是700亿参数的模型虽然宣称需要40G+的显存，经测试在个人电脑的16G的显存上也可以跑起来，就是吐字速度慢些。几天前meta发布了史上最强开源大模型Llama3，要想免费使用Llama3，除了去官网 https://llama.meta.com/llama3/ 在线使用外，还可以本地部署。其中以ollama部署最为便捷和友好，部署时间可在5分钟内完成。
首发！Llama3纯本地部署攻略！中文方法！
XD的博客
04-22 1万+
完成了LLAMA3的模型部署，从测试的结果可以看到， llama3的基础模型对于中文的支持并不好，我们的问题是中文，它却返回了英文的结果，原因可能是因为它的训练集有15个T但是其中95%是英文，想要它支持中文更好，还需要使用中文的训练集进行微调，可喜的是，微调llma系列的中文训练集并不少（可能是因为llama系列都有这个问题），后续我会接着对llama3进行微调， 待续。。。
书生浦语大模型实战营第二期 第四次课笔记
SunInCrack的博客
04-24 1798
本节内容涉及XTuner完整流程，包括数据集和模型使用、配置文件制作、训练、转换及整合。
Llama3-Xtuner实践
weixin_45889325的博客
05-10 839
参考: https://github.com/SmartFlowAI/Llama3-Tutorial/tree/main实验环境 RTX A 6000 conda安装 pip安装 下载模型 在InterStudio中创建开发机，在对应路径创建软连接 打包压缩后右键下载完整模型 打包后共12G，下载之后上传至自己的服务器解压 安装 XTuner 时会自动安装其他依赖 这里在自己的服务器下载不下来XTuner，也可以在InterStudio中下载了打包传到自己服务器里进行安装运行 web_demo.py 实验
kaggle上面微调llama
05-27
在 Kaggle 上，微调 Llama 是一种使用预训练语言模型 Llama 进行微调的技术，目的是让模型能够更好地适应特定的任务。Llama 是一种自然语言处理模型，基于 Transformer 模型架构，它使用了大量的数据进行预训练，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值