五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第三节llama 3图片理解能力微调（xtuner+llava版）

已于 2024-05-09 22:37:19 修改
阅读量953 收藏 8
点赞数 20
文章标签： llama
于 2024-05-09 19:30:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haidizym/article/details/138611099
版权

课程文档：
https://github.com/SmartFlowAI/Llama3-Tutorial
课程视频：
https://space.bilibili.com/3546636263360696/channel/collectiondetail?sid=2892740&spm_id_from=333.788.0.0
操作平台：
https://studio.intern-ai.org.cn/console/

在这里插入图片描述
请参照第一节课完成环境配置和webdemo部署以及源码拉取和安装
https://blog.csdn.net/haidizym/article/details/138378194

conda activate llama3
cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

#模型准备--InternStudio
mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct .
#模型准备--非 InternStudio
#mkdir -p ~/model
#cd ~/model
#git lfs install
#git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct
#准备 openai/clip-vit-large-patch14-336，权重，即 Visual Encoder 权重，非 InternStudio，可以访问 https://huggingface.co/openai/clip-vit-large-patch14-336 以进行下载。
ln -s /root/share/new_models/openai/clip-vit-large-patch14-336 .
#准备 Image Projector 权重
ln -s /root/share/new_models/xtuner/llama3-llava-iter_2181.pth .

#数据准备，按照 https://github.com/InternLM/Tutorial/blob/camp2/xtuner/llava/xtuner_llava.md 中的教程来准备微调数据。
cd ~
git clone https://github.com/InternLM/tutorial -b camp2
python ~/tutorial/xtuner/llava/llava_data/repeat.py \
  -i ~/tutorial/xtuner/llava/llava_data/unique_data.json \
  -o ~/tutorial/xtuner/llava/llava_data/repeated_data.json \
  -n 200

#模型微调，算力不够，可以考虑把deepspeed zero2换成deepspeed zero2 offload
#xtuner train ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2_offload
xtuner train ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2
#模型转换
xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/model/llama3-llava-iter_2181.pth \
  ~/llama3_llava_pth/pretrain_iter_2181_hf

xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/llama3_llava_pth/iter_1200.pth \
  ~/llama3_llava_pth/iter_1200_hf

#Pretrain 模型，问题1：Describe this image. 问题2：What is the equipment in the image?
export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/pretrain_iter_2181_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

#Finetune 后 模型，问题1：Describe this image. 问题2：What is the equipment in the image?
export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/iter_1200_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg
注释1

“python ~/tutorial/xtuner/llava/llava_data/repeat.py
-i ~/tutorial/xtuner/llava/llava_data/unique_data.json
-o ~/tutorial/xtuner/llava/llava_data/repeated_data.json
-n 200”
这段代码是一个Python脚本，路径为~/tutorial/xtuner/llava/llava_data/repeat.py。它的作用是读取一个JSON文件~/tutorial/xtuner/llava/llava_data/unique_data.json，然后将其中的数据重复200次，并将结果保存到另一个JSON文件~/tutorial/xtuner/llava/llava_data/repeated_data.json中。

具体参数说明如下：

  • -i：指定输入文件的路径，即要重复的原始数据的JSON文件路径。
  • -o：指定输出文件的路径，即重复后的数据要保存到的JSON文件路径。
  • -n：指定重复的次数，这里设置为200次。

所以，这段代码的作用是将unique_data.json文件中的数据重复200次，然后将结果保存到repeated_data.json文件中。

注释2

“llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2”
这段代码是在运行一个Python脚本llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py，这个脚本的路径是相对于当前工作目录的（可能是相对于用户的主目录或当前工作目录）。指定了一些参数来配置脚本的行为。下面是对参数的解释：

  • --work-dir ~/llama3_llava_pth：指定了工作目录的路径，即脚本执行时的工作目录。这个路径是用户主目录下的llama3_llava_pth目录。

  • --deepspeed deepspeed_zero2：使用DeepSpeed进行加速训练的参数配置。deepspeed_zero2可能是DeepSpeed的配置文件或者某种模式的标识，具体的含义需要参考DeepSpeed的文档或者脚本的说明。

所以，这段代码的作用是在指定的工作目录下执行llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py脚本，并使用DeepSpeed进行加速训练。

注释3

“xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py
~/model/llama3-llava-iter_2181.pth
~/llama3_llava_pth/pretrain_iter_2181_hf”

这段代码是在运行一个名为xtuner的命令行工具，执行了其中的一个子命令convert，并提供了一系列参数。下面是对参数的解释：

  • pth_to_hf：这是xtuner工具的子命令，指示将PyTorch模型（.pth文件）转换为Hugging Face Transformers库所需的格式。

  • ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py：指定了一个配置文件的路径，该配置文件描述了模型结构和训练参数等信息，用于指导模型转换。

  • ~/model/llama3-llava-iter_2181.pth：指定了要转换的PyTorch模型的路径，这里是llama3-llava-iter_2181.pth文件。

  • ~/llama3_llava_pth/pretrain_iter_2181_hf：指定了输出路径，即转换后的模型将保存到pretrain_iter_2181_hf目录中，用于后续在Hugging Face Transformers库中加载和使用。

所以，这段代码的作用是使用xtuner工具将PyTorch模型llama3-llava-iter_2181.pth转换为Hugging Face Transformers库所需的格式，并根据提供的配置文件进行适当的转换。

注释4

“export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct
–visual-encoder /root/model/clip-vit-large-patch14-336
–llava /root/llama3_llava_pth/pretrain_iter_2181_hf
–prompt-template llama3_chat
–image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg”
这段代码是一系列命令行操作，其中涉及了环境变量的设置和一个名为xtuner的工具的使用，提供了一些参数。下面是对代码的注释：

  • export MKL_SERVICE_FORCE_INTEL=1：这是一个环境变量设置命令，将MKL（Math Kernel Library）服务强制指定为Intel实现。这通常用于优化数值计算的性能。

  • xtuner chat /root/model/Meta-Llama-3-8B-Instruct：这是一个使用xtuner工具的命令，其中chat是xtuner工具的一个子命令。它用于启动一个交互式会话，该会话基于给定的模型进行对话。

  • --visual-encoder /root/model/clip-vit-large-patch14-336：指定了视觉编码器的模型路径，用于处理图像输入。这里使用了一个模型路径clip-vit-large-patch14-336。

  • --llava /root/llama3_llava_pth/pretrain_iter_2181_hf：指定了LLAVA（LLAMA Visual-Text Attention）模型的路径，该模型经过了预训练并转换为Hugging Face Transformers库所需的格式。这个路径是pretrain_iter_2181_hf。

  • --prompt-template llama3_chat：指定了对话的模板名称，用于生成对话的起始提示。

  • --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg：指定了一个图像文件的路径，该图像将作为对话的一部分输入到模型中。

所以，这段代码的作用是启动一个交互式会话，使用给定的视觉编码器模型和LLAVA模型，以及指定的对话模板和图像文件进行对话。

截图

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
使用不了加速
在这里插入图片描述
在这里插入图片描述
ImportError: deepspeed is not installed properly, please check.
之前安装xtuner时候是不是没有 pip install -e .[all]
重新安装xtuner用 pip install -e .[all]
在这里插入图片描述在这里插入图片描述在这里插入图片描述
重新安装xtuner用 pip install -e .[all]，并且把deepspeed_zero2换成deepspeed_zero2_offload后，终于可以开始训练了
在这里插入图片描述在这里插入图片描述在这里插入图片描述
近6个小时的等待，终于快好了，今天不知道怎么这么慢，不用offload就out of memory，用offload就只能以时间换空间了，
在这里插入图片描述
庆祝漫长的等待！！！

在这里插入图片描述
模型转换
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

oom问题

①使用https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/tools/internstudio_quant_web_demo.py，原来是 streamlit run internstudio_web_demo.py xxxx，现在是 streamlit run internstudio_quant_web_demo.py xxxxx
②添加指令–device cpu，以使用cpu运行指令；
③添加指令–deepspeed deepspeed_zero2，或者–deepspeed deepspeed_zero2_offload（在配置环境时须在xtuner目录下执行指令pip install ‘.[all]’）

在这里插入图片描述

haidizym
关注
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了 ！！ XTuner 微调 Llama3 图片理解多模态
段智华的博客
04-23 186
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了！！XTuner 微调 Llama3 图片理解多模态LLaVA-Llama-3-8B 已由 XTuner 团队推出，相比于 LLaVA-1.5，能力全面提升！(欢迎 Star)(欢迎 Star)
【大模型微调训练与实操】微调 Llama 3 并在本地使用
最新发布
源代码杀手的博客
08-17 325
目标：根据医患对话数据集对 Llama 3 进行微调，创建一个专门针对医疗对话的模型。在合并、转换和量化模型后，它将可以通过 Jan 应用程序供本地私人使用。在本教程中，我们将学习如何在医学数据集上微调 Llama 3。我们还将通过 Jan 应用程序将模型转换为可供本地使用的格式。如果你正在寻找学习 AI 的精选课程，请查看有关。3.将模型转换为Llama.cpp GGUF。5. 在本地使用微调模型。4. 量化GGUF模型。的六门课程技能轨迹。了解 Llama 3。
超详细LLama2+Lora微调实战
热门推荐
人工智能讲师分享前沿技术
04-17 1万+
国内外使用Huggingface模型格式和其配套的通用代码进行微调是主流，且使用方便，这次想从最基本的模型开始，所以选择了方案2，等基本方案摸索清楚后再使用国内大家用中文微调后的模型，比如流行的Chinese-LLaMA-Alpaca-2、Llama2-Chinese等。当然，并不是说基座模型没有翻译能力，输入一些别的prompt格式，基座模型是可以翻译的，只是翻译中文不是它的强项，上面实验我的侧重点也是为了验证微调是起了作用的，并且只训练了200步，共见了200*64=12800条数据，效果还是很明显。
书生·浦语大模型实战营之手把手带你评测 Llama 3 能力（OpenCompass 版）
段智华的博客
05-07 1271
书生·浦语大模型实战营之手把手带你评测 Llama 3 能力（OpenCompass 版） 运行结果为： ✨下载 Llama3 模型通过 OpenXLab 下载 Llama-3-8B-Instruct 这个模型 或者软链接 InternStudio 中的模型 🛠️安装 OpenCompass 运行结果为：📂 数据准备 运行结果为： 数据集共85个目录，1062个文件。 查询Llama 的配置文件路径 🏗️命令行快速评测 以C-Eval_gen为例： 命令解析： 查询gpu情况，设置export CU
书生浦语大模型实战营第二期 第四次课笔记
SunInCrack的博客
04-24 1909
本节内容涉及XTuner完整流程，包括数据集和模型使用、配置文件制作、训练、转换及整合。
Llama 3 图片理解能力微调（XTuner+LLaVA 版）实践笔记
weixin_48567408的博客
05-05 892
基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。
一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）
2301_80052071的博客
05-11 2360
—““DeepSpeed将当前时刻，训练模型用不到的参数，缓存到CPU中，等到要用到了，再从CPU挪到GPU。但随之的代价就是，更为频繁的CPU，GPU交互，极大增加了训练推理的时间开销”，这个说法不完全准确。这是因为相比GPU，CPU的内存通常更加充裕，而且CPU处理这些数据时虽然速度较慢，但在训练深度学习模型时，这部分计算通常不是性能瓶颈。相反，ZeRO技术通过分片（sharding）的方式，在多个GPU之间分散存储这些参数和状态，同时可能利用CPU内存来存储那些当前不需要直接参与计算的数据。
Llama3小白自学路（三、llama3图片能力微调）
不负韶华不负己
05-12 1489
前部分依旧是技术流的教程copy及相关笔记。但说实话，在复现这一部分中，遇到了很多问题，后面的QA我会把遇到的进行记录。课程背景是XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型。然后机智流带领我们基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调多模态图文理解模型 LLaVA。LLaVA模型，即文本单模型LLM和训练出来的Image Projector的组合。LLaVA构建训练阶段。
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
2402_82411485的博客
04-26 1000
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
如何微调 NLLB-200 模型以翻译新语言(教程含源码)
iCloudEnd的博客
10-18 1677
NLLB”（代表“不留下任何语言”）是Meta AI 于 2022 年发布的机器翻译模型家族。这些模型可以在202 种语言中的任何一种之间翻译句子，这是一个巨大的研究突破。但世界上大约有7000种语言，因此大多数至今仍被遗忘。我们如何才能教这个模型多一种语言？在本教程中，我将展示它。作为演示，我们将教模型在俄语和资源匮乏的Tyvan 语言之间进行翻译，这对于该模型来说是新的。俄语属于斯拉夫语系，而泰文语属于突厥语系，受蒙古语影响很大。因此，虽然它们是用类似的西里尔字母书写的，但它们之间的翻译并非易事。
InterLM开源生态：Llama3开箱实测
weixin_44497664的博客
05-05 569
你已经是一只成熟的Llama了，请介绍一下自己：Llama3是一个基于 TensorFlow 的深度学习框架，主要用于自然语言处理（NLP）任务。它提供了一系列的预训练模型和工具，可以帮助开发者快速构建和部署NLP应用程序。Llama3支持多种语言，包括中文、英文、法语等。它也具有良好的可扩展性和可移植性，可以在多种平台上运行。Llama3指令跟随比2代有了很大进步，meta出品值得信赖。
Llama3大模型部署、Xtuner小助手微调
xiaodaoshiplus的博客
05-06 1155
本文分为六个部分，主要设计Llama3大模型的部署、Xtuner小助手微调等内容。
第四课：轻松玩转书生·浦语XTuner 微调 LLM：1.8B、多模态、Agent｜笔记｜作业
weixin_42296932的博客
04-19 231
视频链接：XTuner 微调 LLM：1.8B、多模态、Agent_哔哩哔哩_bilibili
Llama3微调教程：超简单，人人都可以打造属于自己的GPT！
huang9604的博客
05-21 2355
随着Llama 3的发布，国内各路英雄豪杰纷纷开启了炼丹之旅。Llama-3 8b在惊人的15万亿令牌上训练，而Llama-2仅为2万亿。毋庸置疑，Llama 3目前是开源大模型中能力最强的！其跑分成绩已经赶上了GPT-4。
XTuner 微调 LLM：1.8B、多模态、Agent——笔记
YYYYbhjbhkv_的博客
04-16 1265
LLM的下游应用中，增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。
llm3实践教程（InternStudio 版）-笔记
akandfxs
04-26 634
环境配置下载模型Web Demo 部署坑：1、我本地之前link过，路径不对。2、路径对了可能不需要改代码：搞定后。
Llama 3 五一超级课堂 笔记 ==＞ 第三节、Llama 3 图片理解能力微调（XTuner+LLaVA 版）
weixin_49477258的博客
05-09 620
Llama 3 图片理解能力微调（XTuner+LLaVA 版）
24G显存 微调 Llama3 图片理解多模态
qq_42137576的博客
05-09 1645
本次实验基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。实验平台为[InternStudio](https://studio.intern-ai.org.cn/)，实验所用的显存为24G。
【InternLM 实战营第二期笔记04】XTuner微调LLM:1.8B、多模态、Agent
qq_74261455的博客
04-19 1238
XTuner是一款功能强大的软件，其设计旨在提供灵活且高效的微调策略与算法，以满足各类场景下的应用需求。其主要功能亮点体现在多个方面：首先，XTuner支持多种微调算法，无论是InternLM、Llama、Gemma，还是Mistral等，都能找到相应的优化策略。这种多样化的算法支持使得XTuner可以覆盖更广泛的场景，从而为用户提供更多的选择。其次，XTuner能够适配多种开源生态，如HuggingFace和ModelScope等。
GLM-4-9B开源模型：超越Llama-3-8B的多模态能力
4. Llama-3-8B：Llama-3-8B是GLM-4-9B的一个竞争对手，但是GLM-4-9B在各个方面的性能都超越了Llama-3-8B。 5. 多模态模型GLM-4V-9B：多模态模型是一种可以处理和理解多种类型输入（如文本、图片、声音等）的模型。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值