m0_65989999的博客

原创 第六课基础作业展示

我输入了“请帮我搜索 InternLM2 Technical Report”让其帮我搜索书生浦语2的技术报告。在创建开发机界面选择镜像为 Cuda12.2-conda，并选择 GPU 为30% A100。在terminal输入，创建一个python文件。安装Lagent和AgentLego。

原创 第六节课笔记

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Lagent 目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式，也支持了如下工具：Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器2.AgentLego 是什么。

原创 XTuner 微调 LLM作业与笔记

通过对比原模型的能力来看看差异，可以看到在没有进行我们数据的微调前，原模型是能够输出有逻辑的回复，并且也不会认为他是我们特有的小助手。因此我们可以很明显的看出两者之间的差异性。，转换完成后，可以看到模型被转换为 Huggingface 中常用的 .bin 格式文件，这就代表着文件成功被转化为 Huggingface 格式了。根据文档指示可以训练自己的小助手，训练结果如下。与模型进行对话测试，可以看到模型已经严重。和装文件按照步骤来就好了，直接到部署自己的小助手这里。

原创 OpenCompass 大模型评测实战笔记

它从语言、知识、理解、推理、安全等多个能力维度进行评测，并采用客观评测与主观评测相结合的方法。该评测体系的主要特点包括开源可复现、全面的能力维度评估、丰富的模型支持、分布式高效评测、多样化的评测范式和灵活的拓展性。此外，OpenCompass提供了丰富的工具层支持，包括分布式评测技术、提示词工程、评测数据库对接、评测榜单发布和评测报告生成等功能。总的来说，OpenCompass是一个功能全面、使用灵活的大模型评测工具，对于研究人员和产品开发者来说，它提供了一个有效的平台来评估和选择适合的大型语言模型。

原创 OpenCompass 大模型评测实战基础作业

安装环境数据准备。

原创 LMDeploy 量化部署

TurboMind与LMDeploy的关系：LMDeploy是涵盖了LLM 任务全套轻量化、部署和服务解决方案的集成功能包，TurboMind是LMDeploy的一个推理引擎，是一个子模块。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。

原创 【无标题】书生浦语第三期作业与笔记

RAG(Retrieval Augmented Generation)是一种结合了检索(Retrieval)和生成(Generation)的技术,旨在通过利用外部知识库来增强大型语言模型(LLMs)的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。可以帮助解决大语言模型的三个重大问题：生成幻觉(hallucination)、过时知识、缺乏透明和可追溯的推理过程应用在问答系统、文本生成、信息检索、图片描述等。

原创 第二期笔记

配置环境下载模型开始启动程序写故事。

原创 轻松玩转书生·浦语大模型趣味 Demo作业

原创 书生·浦语大模型全链路开源体系

预训练-InternLM-Train：并行训练，极致优化，速度达到3600tokens/sec/gpu。评测-OpenCompass：全方位评测，性能可复现100套评测集，50万道题目。应用-Lagent、AgentLego：支持多种智能体，支持代码解释器等多种工具。lnternLM2（书生浦语大模型2）的体系：轻量级（7B） 中量级（20B）部署-LMDeploy：全链路部署，性能领先，每秒生成2000+ tokens。数据-书生万卷：2TB数据，涵盖多种模态与任务。开源体系的部署——LMDeploy。