G_Sheep-CSDN博客

原创 OpenCompass 大模型评测实战——作业

建议这边直接用这个命令，我使用的时候是运行成功了，但后面依然出现了对应包没有的问题。这边就出现了和这两个包没有的情况，那就 pip install 装上。实在受不了了，运行了几次，每次都缺包，果断。再次运行，没有出现缺包的情况，不过也是出现了和教程上说过的问题。先按照教程的做法设置。但运行发现还是报同样的错误，那就换第二种方法。这次运行以后没有再出现的问题了，不过出现了新的问题。出现这个问题是因为缺少这个包，再，然后再次运行。这次终于成功，安心等待结果。想截出来完整的图片，

2024-04-24 23:04:35 643 4

原创 OpenCompass 大模型评测实战——笔记

海量语料不可避免带来评测集污染，比如有的模型，它是在测试集上做的训练，这就会导致后面测试分数虚高，但他们也不公布自己训练的数据集，所以别人就不知道，或者测试集和训练集有大量重叠部分，也相当于作弊或者自欺欺人，所以亟需可靠的数据污染检测技术，那如何设计可动态更新的高质量评测基准，也是个问题。既然要评测，那就是要尽可能在一个相对准备充足的条件下对模型进行评测，但很多时候，因为提问者的问题提问的不够清楚，导致模型的回答也相对较差，那这就体现不出模型的能力，所以肯定是要在能体现模型能力的基础上再进行评测。

2024-04-24 23:04:09 1130

原创 Lagent & AgentLego 智能体应用搭建——作业

首先查询了上海市浦东新区的天气，同时对比了当时手机上的天气，可以看得出来，结果还是非常准确的。查询美国的天气也能及时准确地回复。下面我想测试下，当输入的查询城市名字不对时，会作出如何回复。这个地方是非常出乎意料的，我故意打打反了英国的名称，阿拉斯加也少了一个字，但依然能迅速准确地回答。只有当我问出足够离谱的城市天气时，才会识别错误，这个界限其实就很模糊，因为我个人觉得打错城市名字应该已经算不能识别的城市了，只能说可能确实有的人会喜欢这样的效果。这段代码主要是定义了一个名为的类，这个类继承自。

2024-04-24 15:15:16 953

原创 Lagent & AgentLego 智能体应用搭建——笔记

主要因为随着大语言模型的快速发展，即使如 GPT-4 这样的大模型，在某些场景下也会出现不能满足实际需求的情况，有诸多的局限性。Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。它支持多种智能体范式，如 AutoGPT、ReWoo、ReAct。同时，它也支持多种工具，如谷歌搜索、Python解释器等。下图为 Lagent 的基本流程。

2024-04-24 15:14:34 1016

原创 LMDeploy 量化部署 LLM-VLM 实践——作业

出人意料的是，用中文拼英提问，得到的回答还可以，虽然不如前两次提问时回答的详细，但这次能肯定的回答这是只老虎，还是比直接用中文好上不少的。好一个 ☞ 🐅 → 🦅 ，虽然在括号里有说明这可能是一只老虎，但全篇回答以老鹰描述还是架不住，只能说 Llava 模型对中文的支持性还是比较低。可以看到，LMDeploy 的推理速度是 Transformer库的 6.74 倍！这个地方，按理来说，显存占用应该会降低很多的，但不知道为什么我运行下来以后提升只有一点点。可以看到，这里的英文回答对图片的分析还是比较清楚的。

2024-04-22 18:46:41 800

原创 LMDeploy 量化部署 LLM-VLM 实践——笔记

在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。高效的推理LMDeploy 开发了 Continuous Batch，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel 等重要特性。

2024-04-22 16:04:39 1008

原创 XTuner 微调 LLM：1.8B、多模态、Agent——作业

XTuner 微调 LLM：1.8B、多模态、Agent——作业一、基础作业1.1、训练自己的小助手认知1.1.1、环境安装1.1.2、数据集准备1.1.3、模型准备1.1.4、配置文件选择1.1.5、常规训练1.1.6、加速训练1.1.7、模型转换1.1.8、模型结合1.1.9、对话测试1.1.10、 Web demo 部署二、进阶作业2.1、将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab2.1.1、克隆空仓库：2.1.2、使用 git lfs track 标记文件2.1.3

2024-04-21 17:03:37 906 1

原创 XTuner 微调 LLM：1.8B、多模态、Agent——笔记

LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。

2024-04-16 17:48:32 1114

原创【茴香豆：搭建你的 RAG 智能助理——作业】

综上所述，茴香豆 Web 版已经是一个相对成熟的工具了，在提供给大量文件输入知识向量库后，只要提问者提问相关问题，小助手是能够快速并且精确地给出回答的，很适合从业者或者学生，是一个很便利的 “搜索引擎”。但缺点也不少，面对不相关问题时，小助手会出现胡乱回答的情况。从上文的实验，个人理解是，面对一个问题时，不是将一个句子看作一个整体，而是将一个句子拆分出若干内容，然后这每一部分再去匹配向量库，最后各个部分的回答结合在一起给出最终答复，即使出现不相关的内容，也要跳脱向量库强行给予回答。

2024-04-14 22:02:05 659 1

原创【茴香豆：搭建你的 RAG 智能助理——笔记】

RAG ( Retrieval Augmented Generation ) 是一种结合了检索 ( Retrieval ) 和生成( Generation ) 的技术，旨在通过利用外部知识库来增强大型语言模型( LLMs ) 的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。

2024-04-14 16:44:40 709 1

原创轻松玩转书生·浦语大模型趣味 Demo 笔记及作业

中间，我插入了新的图片让模型分析，两张图片完全不相关，但显然模型搞混了，它结合了第一张图片的角色和第二张图片的背景，给出了一个缝合的答案 “这张图片是两个卡通角色，它们似乎在夜空中进行冒险。问它角色的名字，然后上来先回答理解错误，想了想，可能是开始我只让它分析图片，然后后面我又问角色名字，它以为这是我一开始就想让它分析做的事，但它在开始的回答中没有说出来，所以抱歉。不知道是不是我在生成的过程中添加了一张不相关的图片素材，导致插入的第一张图片也奇奇怪怪的，和主题没关系，但后面插入的图片又是正常的。

2024-04-08 20:27:04 792

原创【书生·浦语大模型视频学习笔记及 InternLM 2 技术解读报告】

2024年1月17日，InrernLM 2 开源。

2024-03-29 12:47:00 1763 1

原创【书生 · 浦语大模型】实战营合集

书生 · 浦语大模型全链路开源体系轻松玩转书生·浦语大模型趣味 Demo 笔记轻松玩转书生 · 浦语大模型趣味 Demo 作业基于 InternLM 和 LangChain 搭建你的知识库——笔记基于 InternLM 和 LangChain 搭建你的知识库——作业XTuner 大模型单卡低成本微调实战——笔记XTuner 大模型单卡低成本微调实战——作业LMDeploy 大模型量化部署实践——笔记LMDeploy 大模型量化部署实践——作业OpenCompass 大模型评测——笔记OpenCompass

2024-01-29 12:23:31 320

原创 XTuner 大模型单卡低成本微调实战——作业

构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手。

2024-01-26 14:56:35 199 1

原创 XTuner 大模型单卡低成本微调实战——笔记

一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。MSAgent 数据集每条样本包含一个对话列表（conversations），其里面包含了 system、user、assistant 三种字段。

2024-01-26 13:12:29 978 1

YYYYbhjbhkv_的博客

原创 OpenCompass 大模型评测实战——作业

原创 OpenCompass 大模型评测实战——笔记

原创 Lagent & AgentLego 智能体应用搭建——作业

原创 Lagent & AgentLego 智能体应用搭建——笔记

原创 LMDeploy 量化部署 LLM-VLM 实践——作业

原创 LMDeploy 量化部署 LLM-VLM 实践——笔记

原创 XTuner 微调 LLM：1.8B、多模态、Agent——作业

原创 XTuner 微调 LLM：1.8B、多模态、Agent——笔记

原创【茴香豆：搭建你的 RAG 智能助理——作业】

原创【茴香豆：搭建你的 RAG 智能助理——笔记】

原创轻松玩转书生·浦语大模型趣味 Demo 笔记及作业

原创【书生·浦语大模型视频学习笔记及 InternLM 2 技术解读报告】

原创【书生 · 浦语大模型】实战营合集

原创 XTuner 大模型单卡低成本微调实战——作业

原创 XTuner 大模型单卡低成本微调实战——笔记

原创 OpenCompass 大模型评测——作业

原创【OpenCompass 大模型评测——笔记】

原创 LMDeploy 大模型量化部署实践——作业

原创【LMDeploy 大模型量化部署实践——笔记】

原创基于 InternLM 和 LangChain 搭建你的知识库——作业

原创基于 InternLM 和 LangChain 搭建你的知识库——笔记

原创轻松玩转书生 · 浦语大模型趣味 Demo 作业

原创轻松玩转书生·浦语大模型趣味 Demo 笔记

原创【书生浦语大模型全链路开源体系】

空空如也

空空如也