m0_65719612-CSDN博客

原创 LLama3作业汇总

1. Llama3实战记录之Llama 3 本地 Web Demo 部署2.Llama3实战记录之XTuner 微调 Llama3 个人小助手认知3.Llama3实战记录之llama3图片理解能力微调4.Llama 3 Agent 能力体验+微调（Lagent 版）5.LMDeploy 高效部署 Llama3 实践6.手把手带你评测 Llama 3 能力（OpenCompass 版）

2024-05-10 23:36:51 204

原创手把手带你评测 Llama 3 能力（OpenCompass 版）

书生·浦语和机智流社区同学投稿了 OpenCompass 评测 Llama 3，欢迎 Star。

2024-05-10 23:33:53 944

原创 LMDeploy 高效部署 Llama3 实践

环境，模型准备LMDeploy模型量化(lite)LMDeploy服务(serve)

2024-05-10 23:09:07 858

原创 Llama 3 Agent 能力体验+微调（Lagent 版）

首先我们先来使用基于 Lagent 的 Web Demo 来直观体验一下 Llama3 模型在 ReAct 范式下的智能体能力。我们让它使用 ArxivSearch 工具来搜索 InternLM2 的技术报告。从图中可以看到，Llama3-8B-Instruct 模型并没有成功调用工具。原因在于它输出了而非，这也就导致了 ReAct 在解析工具输入参数时发生错误，进而导致调用工具失败。回答的不正确，有幻想的感觉，不太正常。Lagent Web Demo 部分详见。

2024-05-10 22:39:06 977

原创 Llama3实战记录之llama3图片理解能力微调

随着 XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型，我们也是第一时间与 XTuner 团队取得了联系，并获得了他们已经预训练好的 Image Projector。接下来，我们将带大家基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。

2024-05-09 22:22:30 1131 1

原创 Llama3实战记录之XTuner 微调 Llama3 个人小助手认知

自我认知训练数据集准备环境配置—前面已经配置好了,直接进入环境中conda activate llama3cd XTunerpip install .[all]cd ~/Llama3-Tutorialpython tools/gdata.py 修改名字以上脚本在生成了 ~/Llama3-Tutorial/data/personal_assistant.json 数据文件格式如下所示：[ { "conversation": [

2024-05-08 23:28:41 273 1

原创 Llama3实战记录之Llama 3 本地 Web Demo 部署

Llama 3 本地 Web Demo 部署。

2024-05-08 08:59:12 398 1

原创《书生·浦语大模型全链路开源开放体系》笔记和作业汇总

第一课笔记第二课笔记第二课作业第三课笔记第三课作业第四课笔记第四课作业第五课笔记第五课作业第六课笔记第六课作业

2024-02-18 09:14:46 85

原创《书生·浦语大模型全链路开源开放体系》第五课作业 LMDeploy 的量化和部署

但 PyTorch 和 DeepSpeed 调用的其实都是 Huggingface 的 Transformers 包，PyTorch表示原生的 Transformer 包，DeepSpeed 表示使用了 DeepSpeed 作为推理框架。每一份参数第一个 0 表示“层”的索引，后面的那个0表示 Tensor 并行的索引，因为我们只有一张卡，所以被拆分成 1 份。首先说 “模型推理/服务”，推荐使用 TurboMind，使用简单，性能良好，相关的 Benchmark 对比如下。

2024-02-17 19:50:28 891 1

原创《书生·浦语大模型全链路开源开放体系》第四课作业 XTuner 大模型单卡低成本微调实战

目标：通过微调，帮助模型认清了解对自己身份弟位方式：使用XTuner进行微调（回答比较官方）（对自己的身份弟位有了清晰的认知）

2024-02-13 22:54:23 644 1

原创《书生·浦语大模型全链路开源开放体系》笔记第六课 OpenCompass 大模型评测

本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

2024-01-21 20:43:32 1059 1

原创《书生·浦语大模型全链路开源开放体系》笔记第五课 LMDeploy 的量化和部署

首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。

2024-01-14 20:42:43 1030 1

m0_65719612的博客