flairJiang-CSDN博客

原创第8节作业

模型，用弱智吧中的数据进行微调，训练一个不弱智的模型。首先介绍下如何构造高质量的。采用弱智吧数据进行训练~

2024-06-18 11:24:04 218

将原本是 alpaca 的地址改为是 json 文件的地址（在第102行的位置）- dataset=dict(type=load_dataset, path=alpaca_en_path),+ dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),结论：通过弱智吧数据微调过的模型，看起来“智商”变高了，虽然用到的数据只有100多条，但模型识别思维陷阱的能力和推理的能力得到了提升。

2024-06-18 11:23:07 234

原创第 7 节OpenCompass 大模型评测实战

客观评测能便捷地评估模型在具有确定答案（如选择，填空，封闭式问答等）的任务上的能力，主观评测能评估用户对模型回复的真实满意度，OpenCompass 采用基于模型辅助的主观评测和基于人类反馈的主观评测两种方式。同时，由于大语言模型输出自由度较高，在评测阶段，我们需要对其输入和输出作一定的规范和设计，尽可能减少噪声输出在评测阶段的影响，才能对模型的能力有更加完整和客观的评价。针对如模型安全和模型语言能力的评测，以人的主观感受为主的评测更能体现模型的真实能力，并更符合大模型的实际使用场景。

2024-06-18 11:19:11 384

原创第6节作业

是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。经过上面的介绍，我们可以发现，Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。

2024-06-18 11:18:11 308

原创第 6 节Lagent & AgentLego 智能体应用搭建

为了确保调用工具的成功率，请在使用时确保仅有这一个工具启用。算法库既可以直接使用，也可以作为智能体工具使用。的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。会观察到以下现象（如下图所示），但请放心，这是正常现象，这并不会影响到我们的使用。为了确保调用工具的成功率，请在使用时确保仅有这一个工具启用。算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如。

2024-06-18 11:17:06 761

原创第5节作业

W4A16 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。

2024-06-18 10:54:03 306

原创第 5 节LMDeploy 量化部署 LLM 实践

填写开发机名称；选择镜像Cuda12.2-conda；选择10% A100*1GPU；点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像，新版本的lmdeploy会出现兼容性问题。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。1.2 创建conda环境InternStudio开发机创建conda环境（推荐）由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudi

2024-06-18 10:52:54 218

原创第4节作业

只要丹炉的质量过得去，炼丹的时候不会炸，一般都是没问题的。但是假如炼丹的材料（就是数据集）本来就是垃圾，那无论怎么炼（微调参数的调整），炼多久（训练的轮数），炼出来的东西还只能且只会是垃圾。但是假如炼丹的材料（就是数据集）本来就是垃圾，那无论怎么炼（微调参数的调整），炼多久（训练的轮数），炼出来的东西还只能且只会是垃圾。使用这个额外的参数对话的模型和整合后的模型几乎没有什么太多的区别，因此我们可以通过测试不同的权重文件生成的 adapter 来找到最优的 adapter 进行最终的模型整合工作。

2024-06-18 10:51:11 352

原创第 4 节XTuner 微调 LLM1.8B多模态Agent

XTuner 微调 LLM：1.8B、多模态、Agent (更新撰写中)XTuner 一个大语言模型&多模态模型微调工具箱。由MMRazor和MMDeploy联合开发。🤓傻瓜化：以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。 🍃轻量级：对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB：消费级显卡✅，colab✅Part 1: LLM 部分LLM 部分将带大家基于 XTuner 微调一个具有个人认知的小助手，效果如下：

2024-06-18 10:48:24 292

原创第3节作业

", "茴香豆已经应用的场景", "huixiangdou 已经应用的场景", "huixiangdou 怎么安装", "茴香豆怎么安装", "茴香豆最新版本是什么", "茴香豆支持哪些大模型", "茴香豆支持哪些通讯软件", "config.ini 文件怎么配置", "remote_llm_model 可以填哪些模型?检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。

2024-06-18 10:45:34 397

原创第 3 节茴香豆搭建你的 RAG 智能助理

", "茴香豆已经应用的场景", "huixiangdou 已经应用的场景", "huixiangdou 怎么安装", "茴香豆怎么安装", "茴香豆最新版本是什么", "茴香豆支持哪些大模型", "茴香豆支持哪些通讯软件", "config.ini 文件怎么配置", "remote_llm_model 可以填哪些模型?检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。

2024-06-18 10:41:52 390

原创第２节作业

自由指令输入的图文写作能力：浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。以下下载模型的操作不建议大家在开发机进行哦，在开发机下载模型会占用开发机的大量带宽和内存，下载等待的时间也会比较长，不利于大家学习。和浦语对话，和书生·浦语对话，并找到书生·浦语 1 处表现不佳的案例(比如指令遵循表现不佳的案例)，提交到。可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件，使用。

2024-06-18 10:37:12 705

原创 1第１节书生·浦语大模型全链路开源体系

浦语大模型全链路开源体系。浦语大模型全链路开源体系。

2024-06-18 10:17:41 281

原创第１节书生·浦语大模型全链路开源体系（视频观看笔记）

上海人工智能实验室青年科学家。浦语大模型全链路开源体系。

2024-05-23 11:50:53 157

原创第四节Llama 3 高效部署实践（LMDeploy 版）

支持 volta 架构（sm70）及以上的所有显卡型号：V100、20系列、T4、30系列、40系列、A10、A100 等等通过 LMDeploy 应用 kv 量化非常简单，只需要设定 quant_policy 参数。LMDeploy 规定 qant_policy=4表示 kv int4 量化，quant_policy=8 表示 kv int8 量化。在前面的章节，我们都是在本地直接推理大模型，这种方式成为本地部署。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、量化工作结束后，新的。

2024-05-11 08:44:41 766

flairJiang的博客